A história recente da inteligência artificial começa com uma dificuldade prosaica: traduzir uma frase comprida do inglês para o francês sem perder o fio. Em 2014, Dzmitry Bahdanau propôs uma operação matemática chamada “atenção”, capaz de permitir que uma rede neural consultasse diferentes partes da frase enquanto produzia cada palavra. O mecanismo resolveu um gargalo técnico e, três anos depois, ajudou a criar os transformers, a arquitetura por trás de sistemas como ChatGPT e Claude. A pergunta agora é menos modesta: atenção basta para explicar a inteligência?
Como a atenção resolveu o problema da tradução?
A atenção resolveu o problema ao permitir que a rede neural relacionasse cada palavra às partes mais relevantes da frase, em vez de comprimir tudo numa memória fixa. Antes disso, os resultados de tradução pioravam conforme as sentenças ficavam maiores. O sistema precisava guardar a informação inteira em um espaço limitado antes de produzir a versão em outro idioma. Era um gargalo, daqueles que não aparecem na demonstração de laboratório, mas aparecem imediatamente quando a frase decide ter uma oração subordinada.
Bahdanau trabalhava em Montreal com Yoshua Bengio e Kyunghyun Cho. A ideia veio de uma experiência banal de quem estuda línguas: olhar para a frase original, escrever a tradução e voltar os olhos para o trecho que esclarece a próxima palavra. “Esquerda, direita; esquerda, direita”, como descreveu Bahdanau. A operação transformou esse movimento em matemática. Para escolher o próximo termo, a rede podia consultar qualquer parte da sentença, atribuindo mais peso ao que parecia relevante naquele momento.
O exemplo do pronome “it” mostra por que isso importa. Em “O animal não atravessou a rua porque estava cansado”, o pronome provavelmente se refere ao animal. Em “O animal não atravessou a rua porque era larga”, a referência muda para a rua. O francês exige formas diferentes: il para o primeiro caso, elle para o segundo. Não basta trocar palavras; é preciso observar a relação entre elas.
O que acontece dentro de um transformer?
Um transformer converte cada palavra em um vetor numérico e usa esses vetores para reconstruir o contexto da frase. Essa afirmação é a resposta curta: o modelo transforma relações linguísticas em operações matemáticas distribuídas por várias camadas. O resultado não é um dicionário eletrônico, mas uma representação que muda conforme as palavras ao redor.
Durante a atenção, cada palavra recebe três vetores: consulta, chave e valor. A consulta expressa que tipo de informação pode ser útil; a chave indica que tipo de informação aquela palavra oferece; o valor carrega o conteúdo que será incorporado à representação atualizada. Parece uma repartição pública de siglas, mas a lógica é direta. A consulta de “it” pode procurar um substantivo anterior associado a algo capaz de ficar cansado.
O modelo compara a consulta de uma palavra com as chaves das demais. Quanto maior a compatibilidade, maior a contribuição do valor correspondente. Assim, “animal” pode influenciar mais a representação de “it” do que “rua”, dependendo do contexto aprendido. Várias dessas operações funcionam em paralelo, nos chamados heads de atenção. Cada camada repete o processo e acrescenta novas associações.
Ninguém programa manualmente a regra “animais ficam cansados, ruas podem ser largas”. A rede começa com pesos aleatórios e produz traduções ruins. Cada erro envia um sinal para trás, ajustando ligeiramente esses pesos. Depois de trilhões de correções, o sistema passa a gerar vetores úteis mesmo diante de frases que nunca encontrou. Não é compreensão humana. É uma forma estatística, poderosa e estranha, de incorporar contexto.
Por que o artigo “Attention Is All You Need” mudou a IA?
O artigo “Attention Is All You Need” mudou a IA ao apresentar, em 2017, os transformers, uma arquitetura que ampliou a atenção e dispensou componentes anteriores da rede. A equipe do Google mostrou que o método alcançava o estado da arte em tradução usando uma fração do poder computacional necessário para treinar modelos anteriores. O trabalho já recebeu mais de 250 mil citações, magnitude que raramente aparece fora da física de partículas ou de uma briga de família muito documentada.
A vantagem estava na escalabilidade. A atenção permitia relacionar palavras distantes e processar grandes blocos de texto com eficiência. Pesquisadores incorporaram o mecanismo a diferentes projetos, e o mesmo princípio deixou de servir apenas para tradução. Modelos de linguagem passaram a aprender padrões em enormes conjuntos de textos, procurando quais palavras tendem a aparecer junto de quais outras em cada situação.
Da tradução para a previsão da próxima palavra, a distância parecia curta. Um modelo que consegue completar uma sentença traduzida também pode completar uma frase em inglês, responder a uma pergunta matemática ou continuar um parágrafo sobre política. Cada tarefa exige combinações diferentes de contexto, fatos, relações e regras. O texto da internet se tornou, nesse arranjo, uma espécie de campo de treinamento colossal.
Llion Jones, um dos autores do artigo, considera que a previsão da próxima palavra pode ser “AI-complete”: uma tarefa tão abrangente que resolvê-la exigiria dominar boa parte do que chamamos de inteligência artificial. Para preencher “2 + 3 é [lacuna]”, o sistema precisa fazer aritmética. Para traduzir uma frase, precisa lidar com idiomas. Para completar o nome de um presidente, precisa mobilizar fatos. Uma lacuna pequena, portanto, pode esconder um continente.
Prever palavras é o mesmo que entender?
Prever palavras não é o mesmo que entender como uma pessoa entende, embora o comportamento dos modelos torne essa diferença desconfortavelmente nebulosa. A atenção permite que redes neurais acessem associações, significados e contextos com fluência suficiente para nos impressionar. Ainda assim, dizer que um modelo “sabe” ou “compreende” é uma aproximação conveniente, não uma equivalência demonstrada.
Modelos de linguagem aprendem padrões estatísticos em grandes coleções de texto. Durante o treinamento, seus pesos são ajustados para que a próxima palavra seja cada vez mais provável no contexto. Esse processo pode capturar relações sofisticadas. Também pode produzir respostas convincentes quando a base factual é frágil. A frase sai bem penteada; o mundo, nem sempre.
Em matemática avançada, modelos de fronteira frequentemente recebem sistemas adicionais de raciocínio formal e verificação de provas para conferir os resultados. Isso é revelador. A fluência linguística pode ajudar a formular uma solução, mas não garante que a solução esteja correta. O modelo consegue manipular símbolos e seguir padrões; a validação precisa de mecanismos próprios, como se a elegância da prosa tivesse de passar por um fiscal.
Mesmo assim, o sucesso dos modelos mostra que existe uma quantidade surpreendente de informação sobre o mundo codificada apenas nos padrões da linguagem. Ao aprender como as palavras se relacionam, a máquina recupera regularidades sobre fatos, ações e conceitos. A questão não é se a linguagem contém inteligência — contém bastante. A questão é quanto dela existe fora da linguagem.
O cérebro humano usa um mecanismo parecido?
O cérebro humano provavelmente não reduz a inteligência a um mecanismo equivalente à atenção dos transformers. Pesquisas recentes indicam que pensar envolve mais do que as regiões cerebrais especializadas em linguagem. Memórias, impressões sensoriais, experiências físicas e sociais e capacidades de raciocínio também participam da atividade mental. A linguagem comunica sobre o mundo; não parece ser o mundo inteiro dentro da cabeça.
Outros animais tornam o limite ainda mais evidente. Muitos demonstram inteligência sem depender de linguagem no sentido humano, o que enfraquece a ideia de que dominar palavras faria a cognição surgir automaticamente. Podemos aprender muito observando um modelo linguístico, mas não devemos transformá-lo numa teoria completa da mente só porque ele escreve respostas em parágrafos bem comportados.
Também há uma diferença de eficiência que costuma desaparecer nas apresentações mais vistosas. Transformers precisam de volumes imensos de dados e de computação para aprender padrões. Humanos conversam sem ler a internet inteira uma vez sequer e gastam muito menos energia. Jones passou a suspeitar que a atenção, sozinha, não resolverá esse problema. Talvez seja necessário algo muito diferente — não uma simples versão maior do mesmo paradigma.
Não sabemos qual mecanismo permite que uma pessoa identifique instantaneamente quem está cansado numa frase ambígua. Sabemos, porém, que a tradução foi uma pista decisiva: para transportar uma ideia entre línguas, é preciso preservar relações, contexto e intenção. A atenção ofereceu às máquinas uma maneira operacional de fazer isso. Do pronome “it” nasceu uma arquitetura que hoje escreve código, conversa, resume e calcula. A seta ainda aponta para algum lugar; só não sabemos se o destino se chama inteligência.
