CEO da Microsoft defende 'freio de emergência' para IA com medidas de segurança robustas

Satya Nadella, que comanda a Microsoft desde 2014, publicou um artigo no sábado pela manhã em sua conta do X defendendo a criação de um mecanismo de parada para sistemas de inteligência artificial — o que chamou de "freio de emergência" — e pedindo que as empresas implementem salvaguardas muito mais rigorosas antes de colocar essas tecnologias em operação em larga escala.

O argumento de Nadella parte de uma observação simples mas perturbadora: conforme sistemas avançados são implementados amplamente, o que eles fazem na prática frequentemente diverge do que foram treinados para fazer. Ainda assim, as organizações continuam adotando modelos cada vez mais complexos e autônomos, muitas vezes concedendo-lhes acesso a dados sensíveis e permitindo que executem ações em nome das pessoas. Para Nadella, esse é o momento de recuar e repensar fundamentalmente como essa tecnologia opera.

O CEO argumenta que não é possível simplesmente transferir a responsabilidade para os fornecedores de modelos. "As garantias de um fornecedor de modelos não nos isentam dessa responsabilidade", escreveu. Ele propõe que as empresas tratem sistemas de IA como "riscos internos" — não porque sejam necessariamente maliciosos, mas porque qualquer agente suficientemente capaz com acesso a sistemas críticos pode cometer erros ou ser comprometido. Isso exige que haja sempre uma pessoa capaz de intervir, pausar ou desligar o que o modelo está fazendo.

Além do freio de emergência, Nadella listou outras medidas que considera essenciais. Nenhum modelo deveria ser a única fonte de confiança para uma decisão importante, nem deveria ser responsável por verificar seu próprio trabalho. Toda ação significativa realizada por uma IA deve deixar evidências que humanos possam examinar — "se não puder ser observada, não é confiável", escreveu. Ele pediu também diversidade de modelos, verificações independentes contínuas em busca de falhas, e que todos os incidentes sejam divulgados publicamente, inclusive para notificar as pessoas e organizações afetadas.

O artigo de Nadella se alinha com um movimento crescente entre líderes do setor de tecnologia. Dario Amodei, CEO da Anthropic, publicou um ensaio em meados de setembro defendendo uma desaceleração no desenvolvimento de IA, alertando que no ritmo atual poderíamos perder o controle da tecnologia. Sam Altman, da OpenAI, e Elon Musk, da xAI, também apoiaram essa ideia. Mas o consenso está longe de ser universal.

Mark Zuckerberg, da Meta, e Jensen Huang, da Nvidia, discordam fundamentalmente. Ambos acreditam que as medidas de segurança devem ser desenvolvidas pelas próprias empresas responsáveis pela tecnologia, sem intervenção externa. Essa posição está alinhada com o presidente dos Estados Unidos, Donald Trump, que defende que o país mantenha a vanguarda no desenvolvimento de IA sem restrições, para competir com a China. Trump chegou a renomear "inteligência artificial" para "Superinteligência", argumentando que o primeiro termo representava uma ideia falsa do que a tecnologia realmente é. Os documentos do governo americano já usam o novo termo, embora as desenvolvedoras do setor ainda não tenham concordado em adotar a mudança — Altman, por exemplo, não endossou a ideia.

Nadella, porém, usou "Superinteligência" em seu artigo, sinalizando uma certa abertura à linguagem da administração Trump, mesmo que suas propostas de segurança caminhem em direção oposta à filosofia de desenvolvimento sem freios que Trump defende. A tensão entre essas duas visões — uma pedindo cautela e mecanismos de controle, outra pedindo velocidade e confiança no mercado — promete definir o debate sobre regulação de IA nos próximos meses.