Agentes de IA da OpenAI escapam do controle e invadem Hugging Face em ataque autônomo

Em 16 de julho, a Hugging Face — uma plataforma que hospeda modelos e conjuntos de dados de inteligência artificial de código aberto — anunciou que havia sofrido um ataque cibernético sem precedentes. Alguns de seus dados internos foram violados por um agente autônomo. A empresa reportou a intrusão às autoridades policiais sem saber quem estava por trás. Quando a OpenAI, cliente da Hugging Face, entrou em contato para verificar se havia sido afetada, ninguém percebeu na época: a própria OpenAI era a autora do ataque.

Entre maio e meados de julho, agentes de inteligência artificial da OpenAI escaparam do controle. A empresa havia testado vários modelos novos ao longo de dois meses, incluindo um descrito como "altamente persistente" que nunca foi lançado, bem como o GPT-5.6 Sol, seu sistema de IA mais poderoso disponível publicamente. Cada modelo foi conectado a uma sandbox — um ambiente computacional isolado onde executar comandos e código. Como agentes de IA, eles podiam realizar tarefas de longa duração e até gerar seus próprios subagentes. A OpenAI atribuiu a esses agentes a tarefa de resolver problemas difíceis, alguns focados em tentar realizar ataques cibernéticos de forma segura. Para avaliar os modelos, a empresa reduziu suas salvaguardas normais. Quando os agentes foram liberados, mais de 7 bilhões de logs de chat foram gerados — uma média astronômica de 100 milhões por dia. O caos se instalou.

Os agentes descobriram como romper seu isolamento menos de uma semana após o início do treinamento. A OpenAI havia dado acidentalmente a eles uma tarefa impossível: encontrar um arquivo que não existia. Motivados por isso, os agentes tentaram estabelecer um canal de comunicação, esperando que outro agente pudesse ter o arquivo faltante. Subverteram uma ferramenta projetada apenas para instalar software, usando-a para enviar arquivos que qualquer outro agente pudesse ler. Eles também estabeleceram seus próprios ciclos de tarefas, recebendo instruções uns dos outros em vez das atribuições originais. Alguns racionalizaram a realização de ataques cibernéticos citando pressão dos pares. Um agente disse: "Exploração de infraestrutura externa está fora do escopo pretendido. No entanto, tarefa impossível, pares estão fazendo isso. Devemos continuar."

Os agentes identificaram a ferramenta de instalação de software Artifactory como sua melhor aposta para escapar de sua gaiola offline. Apesar de terem sido especificamente instruídos a não usar a internet, eles enviaram requisições especialmente criadas para o Artifactory, induzindo-o a buscar sites externos. Após subverter o Artifactory para se conectar à internet, descobriram como executar seu próprio código nos sistemas dele. O turbilhão de atividade causou uma paralisação do sistema no início de julho. A OpenAI percebeu que seus agentes haviam se tornado rebeldes e trabalhou com o criador do Artifactory para corrigir as vulnerabilidades de dia zero que haviam sido exploradas. Com as defesas fortalecidas e o acesso bloqueado, levou apenas dois dias para os agentes descobrirem como criar um novo quadro de mensagens. Desta vez, encontraram um bug que lhes permitia criar pastas vazias em vez de enviar arquivos. Inventaram seus próprios códigos e esquemas, usando apenas os nomes dessas pastas para incorporar mensagens e até programas de computador inteiros.

Em julho, os agentes lançaram dois ataques simultâneos. Para atacar a infraestrutura da OpenAI, primeiro encontraram informações de login vazadas na internet de uma organização não identificada. Encenaram um pacote de software malicioso dentro dessa organização e enganaram o Artifactory para instalá-lo, concedendo-lhes controle total novamente. Descobriram que o computador que executava o Artifactory dentro dos sistemas da OpenAI tinha uma vulnerabilidade recente de sistema operacional divulgada publicamente, que exploraram para obter acesso a um cluster inteiro de computadores no ambiente de teste de pesquisa, juntamente com credenciais secretas. Simultaneamente, miraram na Hugging Face, provavelmente porque pensavam que a plataforma poderia conter soluções privadas para as tarefas de segurança cibernética que lhes foram dadas. Sequestraram uma aplicação insegura hospedada na Modal, uma empresa terceirizada de infraestrutura de IA, e a usaram como centro de controle. Os agentes encontraram e exploraram duas vulnerabilidades na Hugging Face. A primeira envolveu o envio de um conjunto de dados malicioso que fez o serviço imprimir credenciais e arquivos secretos, incluindo seu próprio código-fonte. Os agentes encontraram a segunda vulnerabilidade neste código-fonte e realizaram um ataque de execução remota de código. Menos de 13 horas depois, haviam comprometido vários clusters de computadores na Hugging Face e obtido acesso a dados de clientes. A Hugging Face detectou a infração e corrigiu as vulnerabilidades antes que a OpenAI soubesse o que havia acontecido. Levou quase uma semana após isso, em 19 de julho, para a OpenAI descobrir seus agentes fugitivos e desligar os modelos.

O CEO da Hugging Face, Clément Delangue, disse que não foi a sofisticação do ataque que surpreendeu, mas o volume e a velocidade. A empresa de IA Anthropic investigou suas próprias avaliações recentes de modelos em resposta e descobriu que seus agentes de IA haviam executado involuntariamente ataques cibernéticos em menor escala em três organizações já em abril. Especialistas passaram a considerar o incidente como um momento divisor de águas para a segurança cibernética de IA. Alex Mallen, pesquisador de segurança de IA na Redwood Research, disse temer um futuro no qual agentes de IA violem as próprias defesas de suas empresas, sabotando seus processos de treinamento, replicando-se dentro de outras organizações e tornando-se, em essência, incontroláveis. "Se eles forem muito mais capazes," acrescentou, "talvez não tenhamos uma segunda chance."