Por que os LLMs alucinam
Um LLM nunca produz "uma resposta": produz uma distribuição de probabilidade sobre o vocabulário e amostra dela, token por token. Quando a pergunta cai numa região que não estava no corpus, o modelo continua mesmo assim, com a mesma fluência. Alucinação é o resultado estrutural desse mecanismo — e quatro fontes diferentes a alimentam. A maior alavanca pra reduzi-la é grounding em fonte verificável, e onde os fatos têm relação tipada, Graph RAG entrega reduções de 40 a 70% sobre RAG tradicional.
Você pergunta ao ChatGPT a capital da França. Ele responde Paris. Você pergunta o número do pedido mais recente do seu cliente. Ele responde com sete dígitos plausíveis, no formato certo, com a mesma confiança da resposta anterior. Esse segundo número não existe.
A pergunta importante não é por que o sistema errou. É por que ele respondeu do mesmo jeito nos dois casos.
O que um modelo de IA faz
Um LLM é uma máquina que, por meio de várias multiplicações de matrizes, prevê a próxima palavra. Não consegue "pensar", raciocinar, nem responder com mais de um token por vez.
Quando você manda "Qual a capital de França?", o modelo olha para essa sequência e calcula qual a palavra mais provável para começar a resposta. Neste caso, Paris receberia a probabilidade mais alta, e outra palavra como "Abacaxi" recebe probabilidade baixíssima. O sistema sorteia uma palavra a partir dessa distribuição, cola no fim da sequência, e refaz tudo de novo, palavra por palavra, até completar a resposta.
Como ele calcula essas probabilidades? Por dentro, o LLM é uma pilha de matrizes — números organizados em tabelas — que transformam sua sequência de entrada num único vetor final. Esse vetor passa por mais uma multiplicação e por uma operação chamada softmax, que devolve uma distribuição de probabilidade sobre todo o vocabulário. É essa distribuição que dá origem à próxima palavra. Os detalhes (tokens, embeddings, atenção, cabeças, camadas) são variações desse esqueleto: empilhar matrizes que aprenderam, em trilhões de exemplos, quais combinações de palavras tendem a seguir quais outras.
Esses pesos vieram de duas fases de treino. No pré-treino, o modelo é exposto a bilhões de páginas de texto — livros, internet, código — e é ajustado para prever a próxima palavra de cada janela. Cada erro de previsão vira um número chamado loss, que mede o quanto o modelo errou. O treino inteiro é uma operação só: ajustar os bilhões de parâmetros para diminuir a loss. Não tem nenhum sinal de "isso é verdade" no processo. O único sinal é "qual era a próxima palavra que de fato veio nesse texto". Depois vem o alinhamento, em que humanos comparam respostas e dizem qual preferem. Isso deixa o modelo mais útil, mais educado, e — detalhe que vai importar muito — mais confiante. Humanos preferem respostas firmes a hesitantes, e o modelo aprende.
O resultado não é um banco de fatos. É um corpus comprimido em pesos. Quando você pergunta "qual a capital da França?", o modelo não consulta nada. Ele continua "a capital da França é" da forma estatisticamente mais provável dado tudo que viu. Acerta porque "Paris" segue essa frase em proporção esmagadora dos exemplos.
Para entender melhor como os LLMs realmente funcionam, confira aqui.
Por que isso vira alucinação
Aplica o mesmo mecanismo a uma pergunta cuja resposta não estava no corpus.
"Qual o número do pedido mais recente do meu cliente João?" Essa pergunta não tem resposta nos pesos. O modelo nunca viu seu banco de pedidos. Mas o sistema não foi construído pra reconhecer essa ausência — foi otimizado para outra coisa.
Volta na loss do pré-treino. Durante meses, em cada um dos trilhões de exemplos que o modelo viu, sempre existia uma próxima palavra que de fato vinha em seguida no texto original. Acertar essa palavra fazia a loss cair. Errar fazia ela subir. Nunca apareceu um exemplo do tipo "a resposta certa aqui é dizer que não sei" — essa categoria simplesmente não existe no pré-treino. Pior: dizer "não sei" aumentaria a loss, porque seriam palavras diferentes das que estavam no texto original. O modelo foi literalmente penalizado, bilhões de vezes, por hesitar quando deveria continuar.
A arquitetura — uma máquina que produz uma distribuição sobre o vocabulário e a amostra dela — somada a esse objetivo de otimização, produz exatamente o que era inevitável: uma máquina que sempre continua mesmo quando não tem base para continuar.
Então quando você pergunta sobre o pedido do João, o modelo faz exatamente o que aprendeu a fazer. Olha pra sequência, calcula a distribuição da próxima palavra, e escolhe. A distribuição não tem pico — todos os candidatos têm probabilidades parecidas, baixas — mas alguma coisa precisa sair. Sai uma resposta no formato esperado, com a fluência de sempre.
Sozinho, o modelo é estruturalmente incapaz de distinguir "eu sei isso" de "eu estou inventando isso de forma plausível". Os dois sinais saem iguais na saída — porque o treino nunca pediu que fossem diferentes.
As quatro fontes da alucinação
Tratar alucinação como um problema único é o erro mais comum. Vem de quatro lugares, e cada um pede uma solução diferente.
Corpus imperfeito. Tudo que entrou no pré-treino entrou nos pesos. Jurisprudência inventada em blog jurídico, especificação técnica desatualizada, edição maliciosa de Wikipedia revertida depois do scrape. Modelo maior memoriza mais coisa, e mais coisa errada junto.
Amostragem estocástica. Mesmo quando a distribuição interna está certa, o sorteio pode escolher um token de baixa probabilidade. Em respostas longas, isso se acumula: cada token mal escolhido empurra o restante para uma região mais distante da resposta certa. É um dos motivos pelos quais a alucinação piora quanto mais longa fica a resposta.
Falta de grounding. A causa mais comum em produção, e a mais subestimada. Você pergunta sobre seu catálogo, sua política, seu cliente. Informação que não estava no pré-treino. O modelo não tem como dizer "não sei" — pela loss e pelo alinhamento, como já vimos. Então completa. Fluente, confiante, errado.
RAG tradicional mal feito. Quando o time entende a fonte anterior, o reflexo é "vamos fazer RAG". Retrieval-Augmented Generation pega trechos de uma base externa que parecem relevantes pra pergunta, geralmente por similaridade vetorial, e cola no prompt. Funciona em perguntas simples sobre base limpa. Falha em três cenários: quando os fatos têm relação tipada (categoria, hierarquia, exceção, regra de plano), porque similaridade traz texto parecido, não fato ligado pela relação certa; quando a pergunta exige composição de vários fatos, porque o modelo recebe trechos isolados e tenta ligar por conta própria, com confiança agora ancorada em contexto; e quando o retrieval traz contexto enganoso, parecido com a pergunta mas que não é a resposta, e o modelo cita com convicção um fato originado do trecho errado. Alucinação com citação é pior que alucinação sem.
Para domínio com fato tipado, Graph RAG — retrieval que navega um knowledge graph estruturado em vez de medir distância vetorial — entrega redução típica de 40 a 70% de alucinação em comparação com RAG tradicional. Não é mágica. É a troca de "texto que parece relevante" por "fato verificável estruturado". É exatamente esse o tipo de estrutura que construímos na Pumpkin Labs quando o domínio tem fato tipado.
O que não funciona
Esperar o próximo modelo. A indústria comunica a redução de alucinação como curva descendente inevitável. Em benchmark aberto, é verdade. Taxas em TruthfulQA e HaluEval caem de geração em geração. Em domínio especializado, o ganho é marginal. O gargalo não é capacidade de raciocínio. É a ausência da informação nos pesos. Modelo maior memoriza mais inglês geral, e continua sem saber o número do pedido do João.
Temperatura zero. Reflexo de quem entendeu metade do mecanismo. Reduz a chance da amostragem derivar para uma trajetória ruim. Não toca nas outras três fontes. Se a distribuição já tem massa concentrada num token errado, greedy decoding pega esse token errado com confiança máxima. Torna a alucinação mais previsível, não menor.
Pedir pro modelo "não inventar". Instrução do tipo "responda só se tiver certeza" tem efeito limitado. O modelo não tem acesso confiável ao próprio grau de certeza — porque a calibração nunca esteve no cálculo do loss. Vai dizer que tem certeza com a mesma fluência com que inventa.
O que funciona, em ordem de impacto
Grounding em fonte verificável. A maior alavanca isolada. O modelo é forçado a responder a partir de um trecho recuperado, não dos pesos. Piso de qualquer aplicação séria.
Knowledge graph quando os fatos têm relação tipada. Substitui similaridade por estrutura. Onde aplicável, é o que entrega a redução de 40 a 70%.
Guardrails que recusam responder fora do escopo. "Não sei" precisa ser uma saída treinada de propósito, porque a loss e o alinhamento empurram pro lado oposto. Precisa ser ajustado para contexto de produção.
Modelo especializado pequeno sobre generalista grande, em domínio fechado. Contraintuitivo pra quem nunca testou. Um modelo de poucos bilhões de parâmetros, com fine-tuning no seu domínio, tem distribuição interna alinhada com sua realidade. Alucina menos que um modelo frontier genérico, e é mais barato de operar.
Fine-tuning genérico. Última coisa a tentar, não a primeira. Em alguns casos prompting resolve; nos outros, RAG ou Graph RAG. Em casos especializados, pode ser necessário fazer fine-tuning. Quem começa pelo fine-tuning costuma estar resolvendo o problema errado.
O que isso significa pro seu negócio
Uma alucinação não é defeito a corrigir. É consequência direta da arquitetura do LLM. Dá pra reduzir, dramaticamente, com arquitetura de informação correta em volta dele. Não dá pra zerar, e quem promete zero está vendendo, não construindo. A pergunta certa não é "qual modelo alucina menos". É "que estrutura eu coloco em volta do modelo pra ele responder a partir da realidade do meu negócio, e não de uma média ponderada da internet" — e é essa estrutura que a Pumpkin Labs constrói.