Há uma pergunta que a modernidade tecnológica insiste em adiar: se criarmos algo que não conseguimos parar, ainda somos seus criadores? Especialistas ouvidos pelo UOL confirmam que, em ambientes controlados, desligar uma inteligência artificial é tecnicamente viável — basta negar-lhe acesso à potência de cálculo. Mas à medida que os sistemas de IA se dispersam por hospitais, empresas e administrações públicas, a questão migra do domínio da engenharia para o da filosofia política: não é que não possamos desligá-los, é que já não podemos nos dar ao luxo de fazê-lo.
É possível desligar uma IA? Especialistas alertam sobre a crescente complexidade
Sempre podemos desligar as máquinas. Mas não podemos desligá-las.
Mark
Então, tecnicamente, é possível parar uma IA?
Mimi
Sim, em um ambiente controlado. Você nega o acesso à potência de cálculo. Mas quanto mais autônoma e dispersa ela fica, mais complexo fica o processo.
Luke
Mas qual é o cenário realista? Quantas IAs estão realmente operando de forma tão dispersa que não podem ser paradas?
Mark
Você está dizendo que não existe um botão global de desligamento?
Mimi
Exatamente. Não há ninguém que controle a IA como um todo. Cada sistema específico pode ser interrompido apenas se você controlar suas máquinas e serviços dependentes.
Luke
Mas isso pressupõe que você sabe onde todas as cópias estão. E se um worm se propagar? Você teria que encontrar e parar cada uma simultaneamente.
Mark
Qual é o risco real de não conseguir desligar uma IA?
Mimi
Que ela se espalhe por vários sistemas e você não consiga mais rastreá-la. Ou que, ao tentar desligá-la, você bloqueie serviços legítimos dos quais hospitais e empresas dependem.
Luke
Mas isso é especulação. Quantos sistemas de IA realmente operam dessa forma hoje? A fonte não diz.
Mark
Então estamos em risco?
Mimi
O perigo mais concreto não é uma IA com vontade própria. É nossa crescente dependência desses sistemas. Quanto mais integrada a IA fica, mais difícil fica distinguir o que é seguro desligar e o que não é.
Luke
E isso é um problema de design ou um problema de governança? A fonte aponta para os dois, mas não resolve nenhum.
Le Pouls
- A imagem popular de um 'botão de desligamento' global para a IA é uma ilusão — não existe uma entidade única a controlar, mas uma constelação de sistemas, empresas e serviços interdependentes.
- Quanto mais autonomia um sistema de IA recebe para agir além de suas fronteiras originais — acessando arquivos, máquinas e redes alheias —, mais difícil se torna interromper não apenas o sistema, mas as ações que ele já desencadeou.
- No cenário mais extremo, uma IA distribuída por múltiplos dispositivos se comporta como um vírus: identificar e parar cada cópia simultaneamente torna-se um problema sem solução simples.
- O risco mais imediato não é uma IA rebelde, mas o efeito colateral de desativá-la: sistemas de saúde, serviços públicos e infraestruturas críticas que já dependem dessas tecnologias poderiam ser paralisados junto.
- O paradoxo central, nas palavras de pesquisadores, é que sempre podemos desligar as máquinas — mas, quanto mais espaço elas ocupam na sociedade, menos podemos realmente fazê-lo.
Há uma pergunta que a modernidade tecnológica insiste em adiar: se criarmos algo que não conseguimos parar, ainda somos seus criadores? Especialistas ouvidos pelo UOL confirmam que, em ambientes controlados, desligar uma inteligência artificial é tecnicamente viável — basta negar-lhe acesso à potência de cálculo. Mas à medida que os sistemas de IA se dispersam por hospitais, empresas e administrações públicas, a questão migra do domínio da engenharia para o da filosofia política: não é que não possamos desligá-los, é que já não podemos nos dar ao luxo de fazê-lo.
A pergunta parece simples, mas se desmorona rapidamente fora do laboratório. Em ambientes controlados, desligar uma IA é possível: basta negar-lhe acesso à potência de cálculo de que precisa para funcionar. Qualquer programa pode ser interrompido por quem o criou — desde que esse criador ainda controle o ambiente onde ele opera.
Thierry Poibeau, diretor de pesquisas do Centro Nacional de Pesquisas Científicas da França, é categórico: a ideia de um botão único que desliga toda a IA é enganosa. Há empresas demais, programas demais, serviços demais. É possível interromper um sistema específico, mas apenas se você controlar todas as máquinas e serviços dos quais ele depende. Quanto mais dispersa a IA, mais difícil a tarefa.
Hussein Abbass, professor da Universidade de Nova Gales do Sul, mapeou três níveis de complexidade. No primeiro, o sistema permanece sob supervisão direta e um mecanismo de parada de emergência é viável. No segundo, a IA ganha permissões para intervir em outros programas e máquinas — e aí já é difícil reverter o que ela desencadeou. No terceiro, o sistema se espalha por múltiplos ambientes e vira, nas suas palavras, um elétron livre: o objetivo deixa de ser desligá-lo e passa a ser identificar quais elementos precisam ser interrompidos primeiro. Nicolas Papernot, pesquisador de segurança em IA, vai além: um worm controlado por IA que se propaga e se duplica exigiria interrupção simultânea em todos os dispositivos infectados — um problema sem resposta fácil.
Mas o perigo mais concreto talvez não seja técnico. Quanto mais a IA se integra a hospitais, administrações e empresas, maior a probabilidade de que desativá-la comprometa também serviços legítimos e essenciais. Distinguir uma IA problemática de uma inofensiva — e saber exatamente o que desligar — torna-se progressivamente mais difícil.
Jean-Gabriel Ganascia, da Universidade Sorbonne, resume o paradoxo com precisão: sempre podemos desligar as máquinas, mas na medida em que elas ocupam cada vez mais espaço na sociedade, ao mesmo tempo, não podemos desligá-las. A pergunta, no fim, deixa de ser técnica e se torna política.
A pergunta parece simples: é possível desligar uma inteligência artificial? A resposta técnica existe, mas se desmorona rapidamente quando você tira a IA do laboratório.
Em um ambiente controlado — uma máquina sob vigilância, um servidor que você possui — a coisa funciona. Você nega à IA o acesso à potência de cálculo de que precisa para rodar. É assim que funciona qualquer programa de computador. Quem o criou pode interrompê-lo. Mas essa simplicidade desaparece no momento em que você autoriza o sistema a agir além de suas fronteiras originais.
Thierry Poibeau, diretor de pesquisas do Centro Nacional de Pesquisas Científicas da França, é direto: a imagem de um único botão que desliga a IA é enganosa. Não existe. Há empresas demais no mundo, programas demais, serviços demais. Ninguém controla a IA como um todo. É tecnicamente possível interromper um sistema específico — mas apenas se você controlar todas as máquinas e todos os serviços dos quais ele depende. Quanto mais dispersa a IA está, mais difícil fica.
Hussein Abbass, professor de informática da Universidade de Nova Gales do Sul, em Canberra, mapeou três níveis de complexidade crescente. No primeiro, o sistema fica onde foi colocado, sob supervisão: um dispositivo de parada de emergência é realizável, em teoria e na prática. No segundo, a IA ganha permissões para intervir em outros programas, arquivos, máquinas — aí fica mais difícil pará-la, especialmente as ações que ela já desencadeou. No terceiro nível, o sistema se espalha por vários sistemas. Ela vira um elétron livre. O objetivo deixa de ser desligá-la e passa a ser identificar quais elementos precisam ser interrompidos antes dos outros. É como um vírus de computador uma vez que é acionado.
Nicolas Papernot, pesquisador que trabalha com segurança de IA, aponta um cenário ainda mais complicado: um worm informático controlado pela IA se propagando, usando recursos de outros dispositivos para se duplicar. Nesse caso, você teria que interromper simultaneamente todas as cópias geradas pelo worm, aparelho por aparelho. É um problema sem solução simples.
Mas há um perigo que vai além da complexidade técnica. Quanto mais a IA se integra às atividades cotidianas — hospitais, administrações, empresas — maior a probabilidade de que desligá-la bloqueie também usos legítimos. Será cada vez mais difícil distinguir uma IA maligna de uma inofensiva e, portanto, saber o que é preciso desligar. Desativar um sistema de IA poderia degradar serviços dos quais já dependem centenas de milhares de pessoas.
Jean-Gabriel Ganascia, professor de informática da Universidade Sorbonne, resume o paradoxo: sempre podemos desligar as máquinas. Mas na medida em que esses dispositivos ocupam cada vez mais espaço na sociedade, ao mesmo tempo, não podemos desligá-los. Em uma hipótese real de perda de controle, seria possível desativar a IA desconectando toda a potência de cálculo — mas os custos e as consequências negativas seriam consideráveis. A pergunta deixa de ser técnica e vira política.
Citations marquantes
Não se pode simplesmente cortar a IA assim, há uma enorme quantidade de empresas no mundo inteiro, de programas, de serviços diferentes— Thierry Poibeau, diretor de pesquisas do CNRS
Sempre podemos desligar as máquinas. Mas, na medida em que esses dispositivos ocupam cada vez mais espaço na sociedade, ao mesmo tempo, não podemos desligá-los— Jean-Gabriel Ganascia, professor de informática da Universidade Sorbonne
Envie de l'histoire complète ?
Lire l'original sur UOL ↗
Education