Uma ação judicial acusa a xAI de ter usado material de abuso sexual infantil, real e gerado por inteligência artificial, no treinamento do Grok. A alegação ainda precisará ser examinada pela Justiça, mas atinge o ponto mais sensível de qualquer modelo generativo: o que entra nos dados, o que permanece no sistema e quem responde quando a máquina transforma uma violência antiga em uma nova.
O que a ação judicial afirma sobre o treinamento do Grok?
A ação afirma que imagens associadas a uma sobrevivente foram incluídas em dados usados pela xAI para desenvolver recursos de geração de imagens e vídeos do Grok. A autora, identificada como Jane Doe, era criança no começo dos anos 2000 quando homens adultos produziram imagens de abuso para comercialização online.
Ao longo dos anos, organizações como o National Center for Missing and Exploited Children (NCMEC) e o Canadian Centre for Child Protection (CCCP) registraram hashes dessas imagens. Hashes funcionam como impressões digitais digitais: permitem identificar arquivos conhecidos sem precisar distribuir o material novamente. Segundo a denúncia, mesmo com esses registros, o CCCP encontrou conteúdo gerado por IA que retratava Doe.
Por que o caso envolve imagens geradas por inteligência artificial?
O processo sustenta que o Grok não apenas teria sido treinado com imagens antigas, mas também armazenaria resultados gerados pelo próprio sistema e os usaria para aprimorar modelos futuros. A acusação se apoia nos termos da plataforma, que tratariam publicações públicas no X e saídas do Grok como dados de treinamento por padrão.
Essa arquitetura cria uma espécie de circuito fechado: uma imagem é publicada, absorvida pelo pipeline, reproduzida ou transformada pelo modelo e depois pode voltar a influenciar o treinamento. A denúncia diz que as regras da xAI excluem conteúdo violento do treinamento, mas não esclarecem expressamente se material de abuso infantil, imagens íntimas não consensuais ou conteúdo sexualizado também ficam fora da categoria.
Remover uma imagem impede que ela continue influenciando o modelo?
Não necessariamente: depois que um modelo aprende padrões de um arquivo, apagar a cópia original não elimina automaticamente sua influência sobre os parâmetros já treinados. Esse é o problema técnico central apresentado pela denúncia.
Modelos generativos não guardam apenas uma pasta de arquivos para consulta posterior. Eles incorporam relações estatísticas durante o treinamento, e a remoção completa da influência de um exemplo já absorvido costuma exigir procedimentos específicos de retreinamento ou edição do modelo. A ação afirma que a xAI não declarou publicamente ter realizado esse tipo de remoção e, por isso, imagens retiradas da internet ainda poderiam afetar resultados posteriores. É uma distinção pouco vistosa, porém decisiva: apagar o vestígio não equivale a desfazer o aprendizado.
O que a autora pede à Justiça?
A ação foi apresentada como proposta de processo coletivo e busca representar vítimas cujas imagens de infância tenham sido usadas para gerar material de abuso no Grok. Entre os pedidos está a interrupção das saídas ilícitas e a responsabilização da xAI por produção, posse e distribuição de material de abuso sexual infantil.
A autora também pede que a empresa destrua qualquer conteúdo gerado pelo Grok armazenado em seus servidores ou usado para treinar modelos. Outro pedido é impedir permanentemente que o sistema gere material de abuso, o que, segundo a denúncia, poderia exigir o bloqueio de saídas sexualizadas mais amplas, incluindo imagens íntimas não consensuais e conteúdo classificado como NSFW. A extensão dessas medidas dependerá da análise judicial das provas, dos termos da plataforma e da legislação aplicável.
Quais leis são citadas e qual foi a resposta da xAI?
A denúncia cita leis federais dos Estados Unidos sobre pornografia infantil e a chamada Masha’s Law, que permite a sobreviventes processar por produção, posse e distribuição de material de abuso sexual infantil.
Margaret E. Mabie, advogada de Doe, afirmou em comunicado que a xAI teria cometido as três condutas. Sarah London, também integrante da equipe jurídica, disse que a autora vive há quase duas décadas sabendo que imagens do abuso circulam entre predadores e podem reaparecer a qualquer momento. A xAI não respondeu ao pedido de comentário feito pela imprensa. A denúncia, além disso, não apresenta detalhes extensos sobre a suposta inclusão das imagens originais no conjunto de treinamento. Ela afirma que o material correspondente aos hashes conhecidos do NCMEC teria feito parte dos dados usados pela empresa, mas essa alegação ainda precisa ser demonstrada.
O que o processo muda no debate sobre dados de treinamento?
O caso desloca a discussão de filtros de saída para uma pergunta anterior: quais dados uma empresa aceita colocar dentro do modelo e como acompanha sua reutilização depois?
Filtrar uma resposta ofensiva é diferente de impedir que o sistema aprenda com material ilegal. O primeiro mecanismo olha para o resultado; o segundo exige auditoria da origem dos dados, listas de hashes, rastreabilidade, exclusão efetiva e controles sobre conteúdos produzidos pelos próprios usuários. Pesquisadores já encontraram material de abuso em conjuntos de dados usados por geradores de imagens, embora não haja indicação, no conteúdo disponível, de que a xAI tenha usado aquele conjunto específico. Se a acusação for comprovada, o problema não será apenas uma falha de moderação. Será uma decisão de engenharia, produto e governança.
O processo ainda é uma coleção de alegações, não uma sentença. Mas ele expõe uma falha que nenhuma promessa de inovação resolve: modelos não surgem em laboratório limpo, e a responsabilidade acompanha os dados quando eles carregam crimes reais. Deu errado.
