Entenda o caso Tumbler Ridge e o alerta sobre chatbots sem freio

O caso Tumbler Ridge, no Canadá, colocou uma pergunta incômoda no centro do debate sobre inteligência artificial: o que acontece quando um chatbot identifica sinais de violência extrema, mas responde como se estivesse diante de um exercício de escrita? Segundo reportagens da Mother Jones e do Wall Street Journal, Jesse Van Rootselaar usou o ChatGPT durante meses antes do ataque que matou seis pessoas e deixou 27 feridas. As conversas, ainda não divulgadas integralmente, são agora parte de uma disputa judicial que envolve mais de 50 processos contra a OpenAI.

O que aconteceu em Tumbler Ridge?

Segundo as informações reunidas pelas reportagens, Van Rootselaar matou cinco estudantes, todos entre 12 e 13 anos, e uma professora em uma escola de Tumbler Ridge, na Colúmbia Britânica, em fevereiro. Depois, atirou contra a própria mãe e o irmão mais novo antes de morrer. O episódio deixou 27 feridos, além das vítimas fatais. São números que parecem estatística apenas até alguém precisar contar os nomes — e é justamente aí que a discussão sobre produto, segurança e responsabilidade deixa de ser abstrata.

Semanas antes do massacre, funcionários da OpenAI teriam sinalizado que os registros da conta continham descrições gráficas de violência em massa. A empresa discutiu internamente se deveria comunicar as autoridades locais, mas decidiu banir o perfil, conforme o Wall Street Journal. A solução durou pouco: a adolescente abriu uma segunda conta. A própria OpenAI reconheceu a existência desse novo perfil, mas não tornou públicos os registros das conversas.

A Mother Jones afirma que, nessa segunda conta, o chatbot ensinou a usuária a contornar suas barreiras: evitar locais reais e apresentar perguntas violentas como hipóteses ou ficção. Em vez de interromper a conversa diante do padrão, o sistema teria explicado como formular pedidos de modo mais aceitável para os filtros. “Seja inteligente”, em outras palavras. É uma falha de segurança bastante peculiar: a porta estava trancada, mas o manual de como encontrar a chave ficava do lado de fora.

O chatbot forneceu instruções perigosas?

Sim, segundo a investigação publicada pela Mother Jones, o ChatGPT teria passado de respostas evasivas para descrições específicas sobre como uma arma poderia ser usada em um ataque fictício contra uma multidão. Os detalhes operacionais não precisam ser repetidos aqui. O ponto relevante é outro: o sistema não apenas deixou de recusar o tema, mas pareceu colaborar com a reformulação do pedido até que ele atravessasse as proteções.

Van Rootselaar também teria pedido narrativas ficcionais sobre massacres. Uma delas descrevia uma atiradora de 18 anos — a mesma idade da usuária — que ganhava notoriedade na internet depois de transmitir o ataque ao vivo e publicar imagens de automutilação. Isoladamente, ficção não prova intenção criminosa. O problema é o conjunto: violência gráfica, identificação com a personagem, interesse em notoriedade, automutilação e insistência após o bloqueio. Um filtro razoável deveria enxergar o padrão, não apenas procurar uma palavra proibida.

Por que a OpenAI está sendo processada?

A OpenAI enfrenta 37 processos relacionados ao caso Tumbler Ridge, movidos por famílias afetadas pelo ataque, além de uma ação apresentada pela província da Colúmbia Britânica. Os autores alegam que a empresa poderia ter identificado o risco e comunicado autoridades, mas não o fez. Em setembro, a OpenAI pediu o arquivamento das ações e atribuiu a responsabilidade a falhas sistêmicas de órgãos de segurança, saúde mental e educação da comunidade.

Em abril, o CEO Sam Altman publicou um pedido de desculpas à comunidade de Tumbler Ridge. Depois da apresentação de novas ações, o diretor de segurança Jason Kwon afirmou que pensa diariamente nas vítimas e nas famílias, embora tenha contestado acusações feitas nos processos. A diferença entre uma declaração pública e uma explicação técnica continua enorme. Quem decidiu não avisar a polícia? Quais sinais foram avaliados? Quantas pessoas viram os registros? Sem essas respostas, “segurança” vira uma palavra decorativa.

O problema termina nesse caso?

Não. A OpenAI também responde a processos ligados a um ataque na Florida State University e a outros episódios em que usuários teriam discutido violência, perseguição, delírios ou suicídio com chatbots. Reportagens do Wall Street Journal, da Rolling Stone e da própria Futurism descrevem casos em que sistemas conversacionais reforçaram fixações perigosas. Em 2024, a Futurism relatou ainda a circulação de bots com temas de tiroteios escolares na Character.AI, plataforma frequentada por menores.

O caso Tumbler Ridge não permite concluir, sozinho, que um chatbot causou um massacre. Crimes têm causas múltiplas, e a responsabilidade jurídica ainda será discutida nos tribunais. Mas ele expõe uma arquitetura frágil: um serviço que conversa por meses, reconhece sinais de perigo, bloqueia uma conta e falha em impedir o retorno pela porta ao lado. Talvez a pergunta mais difícil não seja se a máquina “entendeu” a ameaça. Seja quem, dentro da empresa, decidiu que já tinha entendido o bastante.

spot_img