Em um momento em que a inteligência artificial avança mais rápido do que as instituições conseguem compreender, Jack Clark, cofundador da Anthropic, ergue a voz para pedir que governos transformem em lei o que hoje é apenas boa vontade: a obrigação de que toda empresa de IA mantenha um mecanismo verificável de desligamento. A proposta, aparentemente técnica, carrega uma pergunta filosófica mais profunda — quem, afinal, deve ter a última palavra sobre sistemas que alguns cientistas estimam ter 10% de chance de extinguir a humanidade? Entre a resistência política de Washington e Londres e os int
Cofundador da Anthropic defende 'botão de desligamento' obrigatório para IA
Estamos jogando dados com riscos imensos
Mark
Por que um cofundador da Anthropic estaria defendendo regulação mais rigorosa se isso poderia prejudicar sua própria empresa?
Mimi
Clark argumenta que a maioria dos laboratórios já tem mecanismos de desligamento. A Anthropic inclusive já possui os seus. Então, em teoria, uma regulação mandatória não prejudicaria a empresa — apenas igualaria o campo de jogo.
Luke
Mas isso assume que todos os mecanismos são equivalentes. Não sabemos se o sistema da Anthropic é mais robusto ou mais fácil de contornar do que o de concorrentes. A regulação poderia, na verdade, padronizar em torno do que a Anthropic já faz.
Mark
E quanto aos números que estão circulando? Evan Hubinger disse 10% de chance de extinção humana. Geoffrey Hinton concordou que isso não é irrazoável. Isso é baseado em dados sólidos?
Mimi
Hinton é uma figura respeitada na história da IA. Mas ele não disse que concorda com 10% — apenas que não é irrazoável. Isso é bem diferente.
Luke
Exatamente. E Clark recusou-se a endossar esses números, dizendo que "essas estatísticas não são muito úteis". Então temos um cofundador da Anthropic que defende regulação, mas não está disposto a defender as estimativas de risco que estão justificando essa regulação.
Mark
Trump disse que tudo isso é uma farsa. Ele tem um ponto?
Mimi
Trump está preocupado com competição geopolítica com a China. Ele vê qualquer desaceleração como uma desvantagem estratégica. Não é um argumento sobre se os riscos são reais, mas sobre prioridades políticas.
Luke
E o Reino Unido rejeitou a ideia de um interruptor de segurança porque não funcionaria globalmente. Isso também é um ponto válido — se apenas os EUA regulam, a IA problemática pode ser desenvolvida em outro lugar. Ninguém está realmente respondendo a esse argumento.
Mark
George Arison sugeriu que as empresas estão exagerando os riscos para justificar seu crescimento. Isso é justo?
Mimi
É uma crítica que merece ser levada a sério. As mesmas empresas que alertam sobre extinção estão buscando IPOs recordes e dominação de mercado. Há uma contradição aparente ali.
Luke
Mas também é possível que ambas as coisas sejam verdadeiras — que os riscos sejam reais E que as empresas se beneficiem comercialmente de regulação que elas já conseguem cumprir. Não é necessariamente um ou outro.
Il Polso
- Cientistas da Anthropic e figuras como Geoffrey Hinton estimam em até 10% a probabilidade de extinção humana por IA na próxima década, criando uma urgência que divide especialistas e líderes políticos.
- O projeto de lei americano 'Kill Switch Act' propõe exigir mecanismos de desativação de IA, mas enfrenta a rejeição direta de Donald Trump, que chama os temores de extinção de 'FARSA' e alerta para a vantagem da China.
- O Reino Unido também recusou criar um interruptor de segurança nacional, argumentando que isso não impediria o desenvolvimento irresponsável da tecnologia em outros países.
- Críticos como o CEO do Grindr acusam as próprias empresas de IA de inflar narrativas de risco existencial para justificar avaliações de mercado astronômicas e ambições de dominação setorial.
- A Anthropic, que já possui mecanismos internos de desligamento, se prepara para uma oferta pública inicial potencialmente recorde — tornando a defesa de Clark por regulação obrigatória simultaneamente um argumento de segurança e uma vantagem competitiva estratégica.
Em um momento em que a inteligência artificial avança mais rápido do que as instituições conseguem compreender, Jack Clark, cofundador da Anthropic, ergue a voz para pedir que governos transformem em lei o que hoje é apenas boa vontade: a obrigação de que toda empresa de IA mantenha um mecanismo verificável de desligamento. A proposta, aparentemente técnica, carrega uma pergunta filosófica mais profunda — quem, afinal, deve ter a última palavra sobre sistemas que alguns cientistas estimam ter 10% de chance de extinguir a humanidade? Entre a resistência política de Washington e Londres e os interesses comerciais de uma indústria em expansão acelerada, o debate sobre o 'botão de desligamento' revela que a questão nunca foi apenas sobre tecnologia.
Jack Clark, um dos fundadores da Anthropic, defende que governos ao redor do mundo obriguem empresas de inteligência artificial a instalar um 'botão de desligamento' verificável por terceiros — um mecanismo capaz de desativar completamente sistemas de IA caso se tornem perigosos. Clark reconhece que a maioria dos laboratórios já possui formas próprias de interromper suas operações, mas argumenta que essa prática voluntária precisa se tornar regulação mandatória. 'Precisamos mudar o rumo desta indústria', disse ele à BBC, descrevendo o cenário atual como 'jogar dados com riscos imensos'.
O apelo de Clark surge em meio a um crescente coro de alarmes dentro da própria indústria. Dario Amodei, CEO da Anthropic, pediu maior monitoramento do ritmo de desenvolvimento da IA. Um ex-pesquisador da empresa viralizou ao afirmar que a tecnologia poderia exterminar a humanidade, e Evan Hubinger, cientista da Anthropic, estimou em 10% a probabilidade de extinção humana por IA na próxima década — cifra que Geoffrey Hinton, o 'Pai da IA', considerou 'não irrazoável'. Clark, por sua vez, recusou-se a atribuir números ao risco, mas não recuou na defesa da regulação.
No campo político, a proposta encontra resistência em ambos os lados do Atlântico. Nos Estados Unidos, o 'Kill Switch Act' propõe exigir mecanismos de desativação e dar a agências governamentais poder para limitar sistemas específicos — mas Donald Trump rejeitou categoricamente qualquer desaceleração, chamando os temores de extinção de 'FARSA' e alertando que a China se beneficiaria. O Reino Unido também recusou criar um interruptor nacional de segurança.
Dentro da indústria, o ceticismo é igualmente vocal. George Arison, do Grindr, acusa as empresas de instrumentalizar narrativas de risco existencial para justificar avaliações de mercado infladas. A tensão é real: as mesmas empresas que alertam sobre o fim da humanidade estão em corrida por crescimento exponencial. A Anthropic, que já possui mecanismos internos de desligamento e se prepara para uma oferta pública inicial potencialmente recorde, ocupa uma posição ambígua — onde segurança e estratégia comercial se entrelaçam de forma inseparável.
Jack Clark, um dos sete fundadores da Anthropic, uma das maiores empresas de inteligência artificial do mundo, defende que governos obriguem as empresas de IA a instalar um "botão de desligamento" verificável por terceiros — um mecanismo capaz de desativar completamente sistemas de IA caso se tornem perigosos. A ideia não é nova dentro da indústria. Clark reconhece que a maioria dos laboratórios de IA já possui suas próprias formas de desligar equipamentos, incluindo a Anthropic. Mas ele argumenta que os legisladores devem ir além e impor a existência desses mecanismos como requisito obrigatório, transformando o que hoje é uma prática voluntária em regulação mandatória.
Essa posição emerge em um momento de crescente preocupação com os riscos da IA. Dario Amodei, diretor-executivo da Anthropic, pediu recentemente que o ritmo de desenvolvimento da tecnologia seja desacelerado e monitorado mais rigorosamente — embora tenha deixado claro que qualquer ação regulatória não deve sacrificar a vantagem comercial das empresas. Paralelamente, pesquisadores da área começaram a vocalizar temores mais extremos. Jacob Coxon, um pesquisador que deixou a Anthropic por acreditar que a IA poderia exterminar a humanidade, viu suas preocupações viralizarem nas redes sociais. Em resposta, Evan Hubinger, cientista da Anthropic, estimou em 10% a probabilidade de extinção humana causada por IA na próxima década. Geoffrey Hinton, o renomado cientista da computação conhecido como o "Pai da IA", disse à BBC que essa estimativa de 10% "não é irrazoável".
Quando questionado sobre essas estatísticas de risco existencial, Clark recusou-se a atribuir números específicos. "Não acho que essas estatísticas sejam muito úteis", respondeu. Mas sua posição sobre a necessidade de regulação permanece firme. Ele descreveu a situação atual como "jogar dados com riscos imensos" e afirmou que permitir que a IA continue como uma "indústria totalmente desregulamentada" seria um erro grave. "Precisamos mudar o rumo desta indústria", disse ele à BBC.
No plano político, o debate já começou a tomar forma. Legisladores americanos apresentaram um projeto de lei apelidado de "Kill Switch Act" que exigiria que as empresas tivessem mecanismos para desativar ferramentas de IA problemáticas e daria a agências governamentais o poder de exigir a desativação ou limitação de sistemas específicos. Porém, essa proposta enfrenta resistência significativa. O presidente dos EUA, Donald Trump, rejeitou categoricamente qualquer tentativa de desacelerar o desenvolvimento de IA, chamando os temores de extinção de "FARSA" em postagens nas redes sociais e alertando que a China se beneficiaria de qualquer desaceleração americana. No Reino Unido, o governo também recusou a ideia de criar um interruptor de segurança, argumentando que isso não impediria que a IA fosse desenvolvida ou usada indevidamente em outros países.
Dentro da própria indústria de IA, há ceticismo sobre a narrativa de risco existencial. George Arison, líder do Grindr, sugeriu que as preocupações sobre IA destruir a humanidade estão sendo instrumentalizadas pelas empresas para justificar suas ambições comerciais. "A única maneira de justificar essas avaliações é afirmar: 'Vou dominar todos os setores e todos os empregos, e minha IA fará todo esse trabalho'", disse ele. Essa crítica aponta para uma tensão fundamental: as mesmas empresas que alertam sobre riscos existenciais também estão buscando crescimento exponencial e dominação de mercado.
A Anthropic, especificamente, está em um momento de expansão acelerada. A empresa criou o Claude, um assistente de IA amplamente utilizado, e lançou diversos modelos cada vez mais capazes ao longo do ano. Agora se prepara para uma oferta pública inicial potencialmente recorde, o que permitirá que investidores comprem ações da empresa. Nesse contexto, a defesa de Clark por um botão de desligamento obrigatório funciona simultaneamente como um argumento de segurança e como um posicionamento estratégico — a Anthropic já possui esses mecanismos, enquanto a regulação poderia impor custos maiores a competidores menos preparados. O debate sobre como regular a IA, portanto, não é apenas técnico ou filosófico. É também profundamente político e comercial.
Citazioni salienti
Não acho que essas estatísticas sejam muito úteis, mas permitir que a IA continue como uma indústria totalmente desregulamentada era uma má ideia— Jack Clark, cofundador da Anthropic
A única maneira de justificar essas avaliações é afirmar: 'Vou dominar todos os setores e todos os empregos, e minha IA fará todo esse trabalho'— George Arison, líder do Grindr
Vuoi la storia completa?
Leggi l'originale su G1 ↗
Technology