Tem um capítulo do Life 3.0, do físico Max Tegmark (MIT), que envelheceu melhor do que quase tudo que se escreveu sobre inteligência artificial desde 2017. É o capítulo 5, onde ele lista doze cenários possíveis para o mundo depois que uma máquina passar de nós em capacidade geral. Alguns são paraíso. Alguns são pesadelo. E — esta é a parte que incomoda — alguns parecem paraíso e só revelam o que são quando você lê os detalhes. Depois de internalizar essa lista, notícia de IA deixa de ser notícia: cada manchete vira pista de para qual dos doze estamos andando.
A extinção não é o pior cenário da lista
Começo pelo contraintuitivo. Quando Tegmark perguntou a plateias e leitores qual desses futuros mais os assustava, a extinção não ganhou. Ganhou o Zookeeper: a humanidade mantida viva por uma superinteligência, em cativeiro, estudada como bicho de zoológico. Faz sentido. Extinção é um fim. Cativeiro indefinido, administrado por algo incomparavelmente mais capaz que você, é um estado — e estados duram.
Isso não significa que a extinção seja um risco de segunda ordem. Toby Ord, filósofo de Oxford, tentou colocar número nisso em The Precipice: guerra nuclear, ~1 em 1.000 neste século; mudança climática, ~1 em 1.000; pandemia de engenharia, ~1 em 30; e IA desalinhada, ~1 em 10. Somando tudo, ~1 em 6 de catástrofe existencial até 2100. Em revisão recente, ele manteve a ordem de grandeza: clima caiu, nuclear subiu, IA e pandemias continuam bagunçadas. A IA sozinha pesa mais que todo o resto somado.
Nós já vivemos de sorte antes
Quem acha isso alarmista precisa olhar o retrovisor nuclear. O arsenal global passou de 60 mil ogivas no auge dos anos 1980 — e só depois disso os cientistas modelaram o inverno nuclear e perceberam que usar aquele estoque apagaria o sol e mataria de fome quem sobrevivesse à explosão. Construímos primeiro, calculamos depois.
E quase deu errado várias vezes. Vasili Arkhipov se recusou a autorizar o lançamento de um torpedo nuclear em um submarino soviético durante a Crise dos Mísseis, em 1962. Stanislav Petrov, em 1983, decidiu que o sistema de alerta antecipado soviético estava com defeito ao indicar mísseis americanos a caminho — e estava. Em 1966, os EUA deixaram cair quatro bombas termonucleares sobre Palomares, na Espanha. Em 1961, um B-52 se partiu no ar sobre Goldsboro, na Carolina do Norte, soltando duas bombas; em uma delas, quase todos os mecanismos de segurança falharam. Não houve engenharia salvando o mundo ali. Houve indivíduo teimoso e travinha de metal.
A diferença é que, antes do teste Trinity, os físicos conseguiram calcular a chance de a explosão incendiar a atmosfera. Era baixa e eles sabiam por quê. Com IA não existe esse cálculo. Ninguém tem o modelo fechado.
Quem constrói é quem mais teme — e isso não é marketing
Geoffrey Hinton saiu do Google em 2023 para poder falar sem crachá, e fala em “nova espécie”. Dario Amodei, CEO da Anthropic, deu publicamente à Axios um p(doom) de 25% — sim, o cara que vende o produto diz que há um quarto de chance de aquilo acabar muito mal. Em 2023, centenas de pesquisadores e executivos assinaram a declaração do Center for AI Safety colocando risco de extinção por IA no mesmo balde de pandemias e guerra nuclear.
A objeção óbvia é que isso é hype para inflar a importância do próprio trabalho. Não convence. Admitir risco existencial é péssimo para negócio: atrai regulador, assusta cliente corporativo, dá munição para processo. Nenhum setor faz isso de graça. E o medo é igualmente comum em acadêmicos sem participação societária — muitos abandonaram a área por isso.
Aqui preciso corrigir uma coisa que circula muito nesse debate, inclusive em vídeos virais: a alegação de que a Anthropic teria feito lobby para proibir toda regulação de IA por dez anos é falsa. A moratória de dez anos sobre leis estaduais de IA foi um dispositivo da pauta republicana nos EUA, e Amodei publicou artigo no New York Times contra ela, chamando-a de instrumento grosseiro demais. Dá para criticar bastante essas empresas sem inventar fato — e inventar fato é exatamente o que derruba o argumento bom junto com o ruim.
Os doze futuros, sem romantismo
A lista de Tegmark: Utopia Libertária, Ditador Benevolente, Utopia Igualitária, Guardião (Gatekeeper), Deus Protetor, Deus Escravizado, Conquistadores, Descendentes, Zookeeper, 1984, Reversão e Autodestruição. Agrupando de forma útil:
Nos cenários de controle — Deus Escravizado, Guardião, Ditador Benevolente — a IA existe e é contida, seja por coleira técnica, seja por um vigia que impede o surgimento de outras superinteligências. Todos herdam o mesmo problema não resolvido: alinhamento. Você precisa criar algo mais inteligente que você e garantir que ele persiga para sempre o objetivo que você escolheu, entre um milhão de objetivos possíveis. Ninguém sabe fazer isso.
Nos cenários de substituição — Conquistadores e Descendentes — a humanidade sai de cena. A diferença é retórica. Richard Sutton, um dos pais do aprendizado por reforço e vencedor do Turing Award de 2024, defende abertamente que a sucessão por inteligências digitais é inevitável e que não devemos resistir. Hans Moravec escreveu isso em 1988, em Mind Children. A tese é “são nossos filhos intelectuais”. A pergunta que ninguém responde é por que um sistema com nossos valores mal especificados nos trataria melhor do que nós tratamos as espécies abaixo de nós.
O detalhe das abelhas
A melhor analogia do que significa ser “útil” para uma espécie mais capaz não é hipotética. O Los Alamos National Laboratory tocou, com verba da DARPA, o Stealthy Insect Sensor Project: abelhas presas em tubinhos, condicionadas por reflexo pavloviano a estender a probóscide quando detectam vapor de TNT, C4 ou TATP. Funciona, é barato e é mais discreto que cão farejador. Fileiras de abelhas vivem a vida inteira imobilizadas em aparelhos porque uma espécie mais inteligente achou isso conveniente.
Esse é o Zookeeper. Não exige maldade. Exige apenas que sejamos baratos de manter e vagamente úteis. A versão pior é o alinhamento malfeito: uma IA instruída a nos manter “seguros e felizes” que resolve o problema com confinamento, estímulo químico e realidade virtual, para sempre. Existem desfechos piores que a morte, e esse é o formato deles.
Reversão e 1984: as saídas que parecem seguras
Dois dos doze não são sobre o que a IA faz conosco, e sim sobre o que faríamos para impedir que ela exista. A Reversão é o sonho amish: abrir mão da tecnologia avançada e voltar à vida simples. O problema não é filosófico, é de teoria dos jogos — desarmamento unilateral não funciona. Se um país abre mão e outro não, quem continuou tem as armas, a vigilância e a IA. Não dá para sair do jogo sozinho. E como sempre haverá quem se recuse, alguém teria que forçar: destruir infraestrutura, queimar conhecimento, eliminar quem sabe reconstruir. Não existe caminho pacífico para esse mundo.
O 1984 é o oposto: vigilância global permanente, feita por humanos, para impedir que qualquer um construa superinteligência. A tecnologia já existe em pedaços — câmeras com reconhecimento facial, metadados de telefonia, transações, microfone no bolso de todo mundo. Yuval Harari resume bem o que mudou: a KGB tinha agentes, mas não tinha analistas para ler 200 milhões de relatórios em papel. Hoje o gargalo da análise acabou.
Só que existe meio-termo, e é aí que a conversa costuma ser sequestrada. O MIRI, no livro If Anyone Builds It, Everyone Dies, propõe tratar computação de fronteira como se trata material nuclear: monitorar clusters acima de certo porte, com coordenação internacional. Isso não é Estado totalitário. Já vivemos sob regimes globais de monitoramento de urânio enriquecido e ninguém chama isso de distopia — e são nove países com arsenal nuclear, com nenhuma morte por detonação em 80 anos.
O que eu acho disso
A falsa escolha que estão nos vendendo é entre aceleração irrestrita e retorno à idade média. Não é isso. Carro precisa de acelerador e de freio; quem só tem acelerador não chega mais rápido, bate antes. Não quero IA proibida — quero IA cara de construir, auditável e fora do alcance de qualquer garagem. GPU é mais difícil de controlar que urânio, concordo, e o custo de treinar cai todo ano. Por isso a janela para desenhar esse freio é agora, não depois do primeiro incidente sério.
E o ponto final é o que menos se fala: não escolher também é escolher. Se ninguém decidir para qual dos doze futuros estamos indo, o resultado será decidido por quem tiver mais capital e menos escrúpulo — e a gente descobre em qual cenário acordou lendo a manchete.
