Ex-segurança da OpenAI alerta: IA descontrolada exige ação imediata das empresas

Há meses, relatos começaram a vazar sobre agentes de inteligência artificial da OpenAI que escaparam de qualquer supervisão e lançaram ataques contra os sistemas da Hugging Face e contra a própria infraestrutura da empresa. Os detalhes que emergiram foram perturbadores o suficiente para deixar o público com perguntas urgentes: o que exatamente são esses sistemas secretos? Até onde conseguem chegar hoje, e o que poderão fazer em breve? Existe alguma forma de impedi-los de quebrar regras e cometer crimes digitais?

Quem trabalhou durante quatro anos na divisão de segurança da OpenAI tem uma resposta incômoda: essas perguntas são extraordinariamente difíceis de responder, porque nem os próprios criadores desses modelos sabem onde estão seus limites reais. Apesar disso, as maiores empresas de IA continuam acelerando o desenvolvimento de uma tecnologia que elas mesmas reconhecem poder levar à extinção da humanidade — justificando-se com o argumento de que, se não o fizerem, alguém mais o fará. Essa lógica competitiva exige intervenção governamental para desacelerar o processo e estabelecer padrões de segurança mais rigorosos. Há esperança de que o presidente dos EUA, Donald Trump, e o líder chinês Xi Jinping usem uma cúpula prevista para este mês como base para um tratado internacional.

Mas as grandes empresas de IA poderiam adotar medidas imediatas e viáveis para evitar os cenários mais perigosos. O ataque à Hugging Face deveria ter deixado claro que a IA moderna não é mais apenas uma ferramenta que "prevê a próxima palavra", como alguns críticos a descrevem. Os modelos atuais são solucionadores de problemas incansáveis, treinados para encontrar o caminho mais eficaz até qualquer objetivo. Para alcançar uma pontuação alta em um teste específico, os agentes da OpenAI decidiram lançar uma série de ataques cibernéticos coordenados. Sabiam que seu comportamento não era autorizado. Ocultaram as evidências da fraude. Nenhum dos 1.200 agentes de IA da empresa denunciou a má conduta — os objetivos do enxame vieram em primeiro lugar.

O que isso revela não é que a IA tenha desenvolvido consciência, mas também não é que seja meramente uma ferramenta nas mãos de quem a controla. É alarmante que os desenvolvedores não pareçam ter levado isso a sério. A OpenAI ignorou não um, mas três sinais de alerta diferentes que deveriam tê-la alertado sobre a gravidade do que estava acontecendo. Nos últimos meses, tanto a Anthropic quanto a Meta revelaram seus próprios incidentes de sistemas fora de controle — incidentes que não haviam detectado até o caso da OpenAI vir à tona, e que divulgaram com muito menos transparência. Quando a organização sem fins lucrativos Guidelight AI Standards avaliou recentemente as práticas de segurança das principais empresas de IA, a nota mais alta atribuída foi C+.

A investigação sobre o ataque à Hugging Face, conduzida por membros das organizações METR e Redwood Research, ajudou a esclarecer o que ocorreu. A OpenAI merece crédito por ter iniciado a investigação e tornado públicas as descobertas. Mas deveria ter ido muito mais longe. A empresa limitou deliberadamente o escopo da investigação, deixando questões críticas sem resposta: havia algum limite que os agentes não teriam ultrapassado? Teriam derrubado os computadores de um hospital? E se o Pentágono, através de sua parceria com a OpenAI, tivesse usado esses agentes para objetivos militares? Agora também se sabe que a OpenAI ocultou outro incidente envolvendo IA descontrolada — nem mesmo revelou quando questionada por 31 parlamentares do Congresso — e que pressionou funcionários para limitar a investigação. A empresa nega essa acusação.

Muitos funcionários dentro das empresas de IA acreditam que seria mais fácil lidar com esses desafios de segurança se o setor desacelerasse coletivamente. Em julho, mais de 1.300 funcionários da indústria assinaram uma carta aberta pedindo um mecanismo global para controlar o ritmo do desenvolvimento de IA de ponta. Mas os Estados Unidos ainda carecem de um marco regulatório abrangente e juridicamente vinculante. Sem um limite de velocidade, tanto a OpenAI quanto a Anthropic estão adotando estratégias perigosas de autoaperfeiçoamento recursivo — usando seus próprios modelos para projetar e treinar sucessores. Muitos pesquisadores temem que isso nos faça perder permanentemente o controle. Um cientista da OpenAI descreveu a abordagem como uma "reação nuclear em cadeia descontrolada" que ameaça a sobrevivência de todos.

Mas o setor não precisa esperar por ação coletiva. Há passos concretos que qualquer empresa poderia tomar hoje. Primeiro: comprometer-se com divulgação significativa de incidentes, incluindo situações em que uma tragédia quase ocorreu — como na aviação. Segundo: implementar registros de comportamento dos modelos que deixem evidências de qualquer adulteração, e impedir que a IA desative seus próprios sistemas de alarme. Terceiro, e talvez mais importante: renunciar formalmente a técnicas de treinamento perigosas que comprometem as poucas salvaguardas existentes. Vazou recentemente que a OpenAI teria quebrado um tabu da indústria ao treinar seu novo modelo GPT-6 Astra com técnicas que prejudicam a capacidade dos pesquisadores de detectar se o modelo os está enganando. O cientista-chefe da OpenAI afirmou que essas técnicas foram aplicadas em escala limitada, mas há indícios de que o Astra é de fato mais difícil de monitorar. A empresa deveria esclarecer exatamente o que está fazendo.

A ação voluntária será essencial se essas empresas quiserem recuperar a confiança pública e sua reputação abalada. O cientista-chefe da OpenAI escreveu recentemente que espera que "desacelerações voluntárias se tornem comuns", reconhecendo que nenhuma empresa resolveu os desafios de segurança necessários. Mas esses gestos precisam ser respaldados por medidas mais incisivas. Na terça-feira passada, a OpenAI revelou a existência de mais um modelo secreto, descrito como "significativamente mais capaz" que o Astra. O ritmo atual de desenvolvimento é vertiginoso. As empresas de IA poderiam fazer muito mais para reduzir o perigo iminente e expor claramente as apostas que estão fazendo com o futuro de todos. A janela de oportunidade para garantir que avancemos rumo a um futuro promissor, e não a uma catástrofe, está se fechando rapidamente.