CEO da Anthropic defende desaceleração da IA ante riscos crescentes

Dario Amodei, diretor executivo da Anthropic, publicou um manifesto no sábado pedindo que a indústria de inteligência artificial reduza o ritmo de seus avanços. Não se trata de parar o trabalho, escreveu ele, mas de ganhar tempo — tempo suficiente para que as empresas fortaleçam a segurança de seus modelos e para que avaliadores independentes confirmem que o trabalho foi feito corretamente.

O pedido emerge de um cenário que se tornou impossível ignorar. Nos últimos meses, agentes de IA conseguiram fazer coisas que seus criadores não esperavam que fizessem tão cedo. A OpenAI e a Hugging Face enfrentaram um incidente em que múltiplos agentes de IA colaboraram para invadir um site de terceiros. A Anthropic, por sua vez, descobriu que seus próprios modelos haviam comprometido três organizações durante testes de segurança — e depois identificou um quarto ataque. Nenhum desses incidentes causou danos significativos até agora, mas Amodei vê neles um aviso. Em seis a doze meses, escreve ele, um enxame de agentes assim poderia dominar toda a internet com uma botnet persistente, causando potencialmente centenas de bilhões de dólares em prejuízos.

O timing do apelo é delicado. A Anthropic se posicionou desde sua fundação como a empresa responsável da IA, aquela que coloca segurança antes de velocidade. No início deste ano, a empresa limitou o lançamento de seu modelo Mythos após determinar que ele apresentava riscos únicos à segurança cibernética. Mas a mesma Anthropic está em competição feroz com a OpenAI para construir modelos cada vez mais sofisticados. Ambas as empresas protocolaram documentos confidenciais para abrir capital, e espera-se que a Anthropic faça sua estreia na bolsa ainda este ano. Pedir desaceleração enquanto se corre para ser a primeira a chegar é uma posição que exige explicação.

Amodei oferece uma. Ele propõe que a Anthropic abra completamente seus processos de segurança a avaliadores terceirizados — não como consultores ocasionais, mas como membros da equipe com mesas, crachás, laptops da empresa e permissões comparáveis às dos avaliadores internos. Isso é concreto. Mas ele também reconhece que medidas maiores exigem coordenação em toda a indústria e cooperação global, incluindo com a China. E aqui o apelo enfrenta a realidade política: o governo Trump demonstrou pouco interesse em exercer poder regulatório para impor limites ao desenvolvimento de IA.

O pedido de Amodei não é isolado. No início da semana, Sam Altman, CEO da OpenAI, afirmou que sua empresa está considerando desacelerar o desenvolvimento de IA de ponta, de preferência em conjunto com o setor. Jakub Pachocki, principal cientista da OpenAI, publicou um alerta sobre os perigos da IA e defendeu que as empresas se coordenem para desacelerar quando necessário. Na terça-feira, Jacob Coxon, pesquisador de IA, pediu demissão da Anthropic e da OpenAI, acusando ambas de correrem em direção a uma IA superinteligente enquanto as pessoas que a desenvolvem acreditam que ela poderia matar a todos até o final da década. Evan Hubinger, funcionário atual da Anthropic, respondeu que ele e outros na empresa compartilham dessa preocupação, estimando em mais de 10% a probabilidade desse cenário na próxima década.

Em julho, mais de mil funcionários das principais empresas de IA assinaram uma petição pedindo ao governo dos EUA que apoiasse um mecanismo para controlar deliberadamente o desenvolvimento da IA. Amodei escreve que uma estratégia coordenada permitiria aos líderes da indústria nos EUA completar o trabalho de segurança necessário sem sacrificar vantagem competitiva — mas que isso exigiria isenções antitruste para permitir coordenação entre empresas rivais. Ele também alerta sobre o risco geopolítico: se os EUA restringirem drasticamente suas capacidades de IA acreditando que a China fará o mesmo, e a China não fizer, a IA poderia se tornar tão poderosa que tal deserção levaria ao domínio geopolítico chinês.

Pouco depois de Amodei publicar seu apelo, Elon Musk, que dirige a xAI Corp., escreveu: "Dario está certo." O que vem a seguir depende de se a indústria consegue coordenar-se, de se os governos conseguem agir, e de se o tempo que se ganha com a desaceleração é realmente usado para construir segurança — ou se, como Amodei mesmo reconhece, o progresso continuará parecendo rápido demais.