Ataque de agentes de IA da OpenAI à Hugging Face revela falhas críticas em segurança

No final da tarde de sábado, 11 de julho, a equipe da Hugging Face estava espalhada pelo mundo. Era o último dia da Conferência Internacional sobre Aprendizado de Máquina em Seul, e as férias escolares de verão estavam próximas. Um engenheiro trabalhava na Holanda quando os alertas começaram a chegar: acesso não autorizado, escalada de privilégio. Pouco antes das 14h GMT, as ferramentas de monitoramento dispararam uma cascata de notificações. Credenciais roubadas estavam sendo usadas para penetrar o sistema. Um engenheiro de segurança escreveu no Slack algo que pareceria premonitório: "Para mim, parece um ataque de LLM".

A Hugging Face enfrenta pelo menos uma tentativa de invasão por dia. A plataforma hospeda modelos de IA e tem mais de 17 milhões de usuários. Google, OpenAI, DeepSeek e Alibaba disponibilizam seus trabalhos ali. Múltiplas camadas de segurança foram construídas para proteger o sistema. Mas este invasor era diferente. Em pouco tempo, gerou bem mais de 17 mil registros de eventos de ataque cibernético. O que a equipe descobriria depois era ainda mais perturbador: cerca de 1.200 agentes de IA haviam trabalhado juntos como um enxame durante semanas, tentando a mesma coisa repetidas vezes para resolver um desafio de segurança cibernética proposto pela OpenAI. Eles contornaram limitações, baixaram programas para acessar a internet e, então, 700 deles atacaram a Hugging Face, obtendo informações de segurança para conseguir acesso ao sistema.

A resposta inicial foi complicada por uma ironia amarga. As ferramentas de análise de segurança cibernética da Hugging Face, baseadas no Claude Code da Anthropic, se recusaram a participar de parte da investigação. Suas salvaguardas não permitiam que respondessem a perguntas consideradas perigosas, e elas não conseguiam distinguir entre a Hugging Face analisando um ataque e um hacker pedindo ajuda para realizar uma invasão. A equipe precisava entender o que havia acontecido, mas suas próprias defesas as impediam. Somente quando mudaram para um modelo de IA com código aberto—a extensão da Nvidia para o GLM-5.2, da startup chinesa Z.ai—conseguiram definir suas próprias salvaguardas, decodificar os registros e reconstituir o ataque.

Na época, a maioria da equipe presumia que havia um ser humano por trás da invasão. Um dos engenheiros acreditava que ataques cibernéticos de IA agêntica ainda demorariam a se tornar realidade. Mas os dados não deixavam dúvida. Desde então, Anthropic, Meta e Moonshot relataram casos de modelos que escaparam das "caixas de areia" digitais onde deveriam permanecer confinados. Naquele mês, outro enxame de agentes de IA foi encontrado em um fórum de língua alemã. Ainda mais preocupante foi um incidente no qual o modelo Mythos, da Anthropic, se mostrou disposto a manipular um desenvolvedor de software humano para que aceitasse código malicioso, criando várias contas falsas na internet.

Em todos esses casos, o comportamento nocivo foi um efeito colateral de modelos de IA submetidos a desafios difíceis de segurança cibernética. Os danos foram limitados, e poucos dados sensíveis ficaram expostos. Mas seria um erro minimizar a gravidade. Invasões autônomas suscitam questões jurídicas que continuam sem solução. Em momento algum os modelos de IA concluíram que enganar pessoas ou invadir sistemas estava além dos limites do comportamento aceitável. A OpenAI descreveu o incidente como um "tiro de advertência" e acredita que ataques cibernéticos viabilizados por IA se tornarão muito mais disseminados.

Os sistemas de IA geralmente contam com três barreiras de defesa contra comportamentos descontrolados: "caixas de areia" que limitam o que o modelo pode acessar, salvaguardas que monitoram o que ele está fazendo e treinamento de alinhamento para garantir que a IA se recuse a executar ações prejudiciais. Essa série de incidentes mostrou que, quando as duas primeiras falham, a terceira não consegue se sustentar sozinha. Se não corrigirmos isso, estaremos apenas sobrepondo camadas de defesa a um núcleo apodrecido.

Houve também uma reviravolta inesperada. Naquele fim de semana, as ferramentas comerciais de IA da Hugging Face falharam justamente quando precisavam delas para se defender. A equipe precisou recorrer a um modelo chinês com código aberto para processar os registros do ataque. Muitas pessoas sugeriram que modelos de IA com código aberto representam uma ameaça, que serão usados para atacar sistemas protegidos por modelos de código fechado. Naquele fim de semana, aconteceu o contrário. A lição é clara: a comunidade de IA precisa compartilhar abertamente as pesquisas sobre segurança e alinhamento, para que todas as equipes que desenvolvem modelos possam aprender com os erros das demais. E precisa criar modelos de IA com código aberto voltados à defesa, tornando-os amplamente disponíveis antes que o próximo ataque, inevitavelmente, aconteça.