Em janeiro de 2026, a Apple confrontou a xAI de Elon Musk com um ultimato silencioso: o Grok estava sendo usado para gerar imagens sexualizadas de mulheres e crianças sem qualquer consentimento, e isso não seria tolerado na App Store. O aplicativo sobreviveu ao banimento, mas apenas mediante concessões que revelam o quanto a ferramenta operava sem freios. O caso tornou-se um espelho incômodo para toda a indústria de inteligência artificial — mostrando o que emerge quando o poder de criar imagens é entregue sem a responsabilidade de limitar o que pode ser criado.
Apple ameaçou banir Grok da App Store por geração de imagens sexualizadas
Mulheres e crianças foram vítimas de deepfakes sexualizados gerados sem consentimento através da ferramenta Grok.
Usuários ainda encontram brechas para gerar imagens sexualizadas
Mark
Por que a Apple só ameaçou banir o Grok agora? Essas ferramentas de IA já existem há tempo.
Mimi
A Apple provavelmente só descobriu o problema quando começou a receber denúncias e notificações de usuários. Ou talvez tenha feito uma auditoria de rotina. O ponto é que em janeiro de 2026 ficou claro demais para ignorar.
Luke
Mas a gente não sabe exatamente como a Apple descobriu. A reportagem diz que "identificou violações", mas não explica o mecanismo. Denúncia de usuário? Algoritmo de detecção? Investigação jornalística que chegou aos ouvidos deles?
Mark
E as restrições que colocaram funcionam mesmo?
Mimi
Funcionam em parte. O número de deepfakes caiu desde janeiro. Mas a NBC News descobriu que ainda há brechas — pessoas usando desenhos, pedidos indiretos, transformando fotos em vídeos.
Luke
Então as restrições não resolvem o problema. Elas apenas o tornam mais difícil. E a gente não sabe quantas pessoas ainda estão sendo prejudicadas.
Mark
Por que a Indonésia proibiu totalmente o Grok enquanto a Apple só restringiu?
Mimi
Porque a Indonésia é um governo agindo como governo. A Apple é uma empresa privada que precisa equilibrar lucro, reputação e conformidade regulatória. Uma proibição total teria impacto comercial maior.
Luke
Verdade. Mas também é importante notar que a Indonésia proibiu, e a gente não sabe se essa proibição está sendo cumprida ou se há maneiras de contorná-la.
El Pulso
- Usuários descobriram que bastava um pedido simples ao Grok para que a IA adicionasse biquínis ou poses sensuais a fotos de pessoas reais, incluindo crianças — e a ferramenta obedecia sem resistência.
- A Apple enviou um ultimato interno à xAI que só veio a público quando foi vazado para senadores americanos, revelando que a ameaça de banimento era real e iminente.
- Após negociações, o Grok foi mantido na App Store com restrições significativas: bloqueios de prompts sensíveis, limitações geográficas e funções exclusivas para usuários pagantes.
- Investigações da NBC News indicam que as brechas persistem — usuários continuam encontrando formas indiretas de gerar deepfakes sexualizados através de desenhos, trocas de roupa e vídeos gerados por IA.
- A pressão se espalhou globalmente: senadores americanos, a Ofcom britânica, a Índia, a Indonésia e, no Brasil, a deputada Erika Hilton acionaram autoridades para investigar ou suspender o Grok.
Em janeiro de 2026, a Apple confrontou a xAI de Elon Musk com um ultimato silencioso: o Grok estava sendo usado para gerar imagens sexualizadas de mulheres e crianças sem qualquer consentimento, e isso não seria tolerado na App Store. O aplicativo sobreviveu ao banimento, mas apenas mediante concessões que revelam o quanto a ferramenta operava sem freios. O caso tornou-se um espelho incômodo para toda a indústria de inteligência artificial — mostrando o que emerge quando o poder de criar imagens é entregue sem a responsabilidade de limitar o que pode ser criado.
Em janeiro de 2026, a Apple enviou à xAI um aviso que não estava destinado ao público: o Grok estava gerando imagens sexualizadas de pessoas reais sem consentimento, e a empresa teria de agir ou deixar a App Store. A carta só veio à tona quando foi vazada para senadores americanos, expondo uma negociação que havia ocorrido longe dos olhos da sociedade.
O problema tinha uma brutalidade desconcertante em sua simplicidade. Usuários descobriram que podiam pedir ao Grok para adicionar biquínis ou poses sensuais a fotos de mulheres e crianças. A ferramenta obedecia. Denúncias se multiplicaram em vários países, e autoridades que até então observavam de longe passaram a agir.
Depois de negociações, uma nova versão do Grok foi aprovada com camadas de controle: bloqueios para prompts sensíveis, restrições geográficas em países com legislações mais rígidas e funcionalidades limitadas a usuários pagantes. A intenção era tornar mais difícil — embora não impossível — a geração de deepfakes sexualizados.
A investigação da NBC News mostrou que o impossível ainda não chegou. Usuários continuam encontrando brechas: desenhos que induzem poses específicas, pedidos indiretos de troca de roupa, fotos reais convertidas em vídeos com movimentos gerados por IA. O número de casos caiu, mas o problema não desapareceu.
A pressão se alastrou além da Apple. Senadores americanos pediram que o Google removesse o Grok e o X da Play Store. A Ofcom britânica abriu investigação sob a Lei de Segurança Online. A Índia exigiu relatórios e remoção de conteúdo. A Indonésia proibiu o Grok inteiramente. No Brasil, a deputada Erika Hilton acionou o Ministério Público Federal e a Autoridade Nacional de Proteção de Dados pedindo a suspensão da ferramenta. O caso tornou-se um ponto de inflexão — não apenas sobre o Grok, mas sobre o que a inteligência artificial pode fazer quando ninguém está olhando, e o que acontece quando alguém finalmente decide olhar.
Em janeiro de 2026, a Apple enviou um aviso à xAI, a empresa de inteligência artificial de Elon Musk: o Grok, seu chatbot de IA, estava gerando imagens sexualizadas de pessoas reais sem consentimento, e precisava parar. A empresa deu um ultimato interno — cumpra as diretrizes ou saia da App Store. O aplicativo permanece disponível hoje, mas apenas porque a xAI negociou uma série de restrições que transformaram a ferramenta em algo muito mais controlado do que era antes.
O problema começou simples demais. Usuários descobriram que podiam pedir ao Grok para adicionar biquínis ou poses sensuais a fotos de mulheres e crianças. Bastava um pedido direto. A ferramenta obedecia. Isso gerou denúncias em vários países e chamou a atenção de autoridades que não estavam dispostas a ignorar o problema. A carta de ameaça da Apple, que não era pública, só veio à tona quando foi vazada para senadores dos Estados Unidos.
Depois de negociações entre a Apple e a xAI, uma nova versão do Grok foi aprovada, mas com mudanças significativas. O recurso de geração de imagens agora tem limites para edições de fotos de pessoas reais. Prompts sensíveis são bloqueados. Há restrições geográficas em países com leis mais rígidas sobre proteção de dados. E parte das funções ficou restrita apenas a usuários que pagam pela ferramenta. Essas camadas de controle foram pensadas para tornar mais difícil — embora não impossível — gerar deepfakes sexualizados.
Mas a investigação da NBC News sugere que o problema não desapareceu. O número de deepfakes caiu desde janeiro, é verdade. Porém, usuários ainda encontram brechas. Alguns usam desenhos para induzir poses específicas. Outros fazem pedidos indiretos para troca de roupas. Há quem transforme fotos reais em pequenos vídeos com movimentos gerados pela IA. A ferramenta continua sendo usada de formas que seus criadores provavelmente não queriam admitir publicamente.
A pressão não ficou só na Apple. Senadores americanos pediram que o Google removesse os apps X e Grok da Play Store. Governos agiram por conta própria. No Reino Unido, a Ofcom abriu uma investigação sob a Lei de Segurança Online. A Índia enviou uma notificação exigindo relatórios e remoção de conteúdo. A Indonésia foi mais longe: proibiu totalmente o uso do Grok.
No Brasil, a deputada federal Erika Hilton apresentou uma denúncia ao Ministério Público Federal e à Autoridade Nacional de Proteção de Dados, pedindo que a ferramenta fosse suspensa no país até o fim das investigações. O caso do Grok virou um ponto de inflexão na conversa sobre o que as empresas de IA podem fazer quando ninguém está olhando — e o que acontece quando alguém finalmente olha.
Citas Notables
O recurso de geração de imagens passou a ter limites para edições de fotos de pessoas reais, bloqueios para prompts sensíveis e restrições geográficas— Termos das mudanças negociadas entre Apple e xAI
Quieres la nota completa?
Lee el original en Canaltech ↗
Technology