Como os LLMs perdem contexto em documentos longos

Dar um documento longo ao modelo não garante que ele use o documento. Há dois jeitos de entregar um texto longo, e cada um perde contexto à sua maneira. No RAG, a falha de chunk corta o documento e separa fatos que dependem um do outro. Na janela de contexto, a degradação de atenção dilui o foco do modelo quando há texto demais de uma vez. Os dois deixam morrer a informação que está no meio. A janela usável de um modelo é bem menor que a anunciada, e a saída não é mandar mais texto: é mandar menos, e o certo.
Você joga um contrato de 90 páginas no modelo e pergunta qual a multa por atraso na entrega. A cláusula está lá, na página 47. O modelo responde, com firmeza, um número que não está no documento.
O modelo recebeu o contrato inteiro. A resposta estava dentro do que ele recebeu. E ainda assim ele errou. Esse é o problema deste post, e ele tem duas causas que costumam ser confundidas como uma só.
Por que o modelo erra mesmo com o documento inteiro no contexto
Existem dois jeitos de entregar um documento longo a um modelo, e a confusão começa porque eles falham por motivos diferentes.
O primeiro é colar o texto inteiro na janela de contexto, o espaço de leitura do modelo, medido em tokens (os pedaços de palavra em que o texto é quebrado; "entrega" pode ser um token, "fornecimento" pode virar dois ou três). O segundo é quebrar o documento em chunks, pedaços menores guardados e indexados separadamente, e recuperar só os trechos relevantes na hora da pergunta, que é como funciona o RAG.
A tese deste artigo cabe em uma frase: a rota dos chunks pode falhar antes de o modelo ver o texto certo, e a rota da janela pode falhar mesmo com o texto inteiro à vista. Uma é um problema de recuperação. A outra é um problema de arquitetura. O resto do post abre cada uma e mostra o que fazer.
Falha de chunk: por que o RAG perde contexto ao cortar o documento
Chunking corta o documento em pedaços pra recuperar só os relevantes. O próprio corte é onde o contexto começa a vazar.
O corte mais comum é por tamanho fixo, a cada tantos caracteres ou tokens, e ele ignora o significado. A cláusula da multa, que ocupa o fim da página 47 e começo da 48, é partida no meio: a recuperação traz a primeira metade e deixa a condição decisiva na segunda. Pior que isso é a referência cruzada. A cláusula diz "multa de 2% ao dia, salvo nos casos de força maior do art. 12", mas o art. 12 está na página 9, em outro chunk. Recuperado sozinho, o pedaço da multa parece completo e está errado, porque a exceção que muda a resposta ficou pra trás. É o mesmo defeito de recuperar o passo 6 de um procedimento sem os passos de 1 a 5: o modelo preenche o buraco inventando.
No fundo de tudo está um trade-off que define a qualidade do RAG, o tamanho do chunk. Chunk pequeno dá recuperação precisa, mas cada pedaço chega sem o contexto à sua volta. Chunk grande preserva o contexto, mas dilui a recuperação: a frase relevante fica enterrada em texto irrelevante, o match com a pergunta enfraquece, e o problema do meio que veremos a seguir reaparece dentro do próprio chunk. Não existe tamanho ideal universal, e é por isso que similaridade de texto sozinha não basta quando os fatos dependem uns dos outros.

Degradação de atenção: por que o LLM perde o meio do contexto
Agora a outra rota. Suponha que você não corte nada e cole o contrato inteiro na janela. O modelo vê todas as 90 páginas. E ainda assim erra o meio. A causa aqui não está na recuperação, e sim na forma como a atenção funciona, o mecanismo que deixa cada token olhar pros outros e decidir quais importam pra próxima palavra (é o tema do primeiro post da série).
Vale descer um nível, porque é aqui que mora a causa. A atenção usa uma função chamada softmax, que transforma um monte de números em pesos que somam exatamente 1. Cada token tem, portanto, um orçamento fixo de foco para distribuir entre todos os tokens anteriores. Com algumas centenas de tokens, o modelo consegue concentrar quase todo esse orçamento nos poucos que importam. Com 90 mil tokens, o mesmo orçamento de 1 precisa ser repartido entre 90 mil candidatos: os picos achatam, a distribuição escorrega na direção do uniforme, e o modelo perde a capacidade de iluminar a única cláusula que responde à pergunta. Pense num holofote de brilho fixo, que destaca bem um ator num palco pequeno e não destaca ninguém quando é espalhado por um estádio inteiro.
A diluição não vem sozinha. Some-se a ela um segundo problema, agora não de quais tokens importam, mas de onde eles estão. É que a atenção, sozinha, não enxerga ordem nenhuma — ela vê um conjunto de tokens, não uma fila. Pra saber que um token vem antes do outro, o modelo cola em cada um um sinal extra de posição, um carimbo que diz "você é o terceiro, você é o quarto". Sem ele, "o cão mordeu o homem" e "o homem mordeu o cão" seriam idênticos. O problema é que esse carimbo foi calibrado dentro da faixa de comprimentos que o modelo viu no treino. Empurrado muito além dela, ele passa a operar num território que nunca aprendeu a representar: o sinal perde precisão e o senso de "onde" cada token está fica embaçado. A diluição apaga quais tokens importam; a codificação de posição degradada embaralha onde eles estão.
Some a isso o fato de que dependências muito longas (um fato no token 2.000 que só importa no token 90.000) são raras nos dados de treino, então esse comportamento é pouco treinado. O modelo recua para o que viu mais: o começo e o fim. Por isso a perda no meio é uma propriedade da arquitetura, não um bug que um modelo maior resolve sozinho.
Lost in the middle: a curva em U da atenção em contextos longos
Esse efeito tem nome. Um estudo de Stanford o batizou de lost in the middle: o desempenho é alto quando a informação está no começo ou no fim do contexto e despenca quando ela está no meio, desenhando uma curva em formato de U. Os números são contraintuitivos. Mover a resposta do começo para o meio do contexto chega a derrubar a precisão em mais de 20 pontos percentuais. No pior caso medido, dar o documento ao modelo com a resposta no meio o deixou menos preciso do que não dar documento nenhum, abaixo dos cerca de 56% que ele acertava respondendo só de memória. A informação a mais piorou a resposta.
É aqui que as duas falhas se encontram. Lost in the middle é um efeito de atenção e posição, da rota da janela. Mas ele volta a morder dentro de um chunk grande demais, da rota da recuperação: um pedaço extenso o bastante pra atrapalhar o match da busca é também um pedaço cujo meio o modelo lê por cima. O contrato perde a cláusula da multa das duas formas ao mesmo tempo, e elas se reforçam.
Dar o documento inteiro ao modelo não é o mesmo que o modelo usar o documento inteiro. O meio do contexto é onde a informação vai morrer primeiro, seja ela cortada por um chunk ou diluída pela atenção.
Janela de contexto: a diferença entre a anunciada e a usável
O número estampado no modelo, 128 mil tokens, 1 milhão, mede o que cabe, não o que é usado bem. A medida que importa é a janela usável (effective context length): a maior sequência em que o modelo ainda mantém qualidade.
Benchmarks de contexto longo deixam o tamanho dessa diferença claro. O RULER, da NVIDIA, mostra modelos anunciados com 128 mil tokens cuja faixa confiável fica perto de 64 mil, e modelos de 200 mil caindo para a casa de 32 mil. O NoLiMa, da Adobe, foi além e removeu a coincidência de palavras entre a pergunta e a resposta, forçando raciocínio de verdade: entre 13 modelos que prometem 128 mil ou mais, 11 caíram abaixo de metade do seu próprio desempenho de texto curto já aos 32 mil tokens, e um modelo de ponta despencou de 99% para 70%.
Vale entender por que esses números surpreendem tanta gente. O teste popular de contexto longo é o needle in a haystack: esconder uma frase num texto enorme e pedir pro modelo achar. A maioria dos modelos passa o teste, e é justamente por isso que ele engana. É um match exato, palavra por palavra; a pergunta de verdade ("qual a multa, considerando força maior?") exige juntar coisas que não estão escritas com as mesmas palavras. E é justamente isso que o modelo perde no meio.
Como reduzir a perda de contexto em documentos longos
O fio condutor de toda solução é o mesmo: mandar menos contexto, porém o certo. Despejar a janela inteira e torcer pra atenção achar o que precisa é a aposta que falha.
Na prática, algumas decisões resolvem a maior parte dos casos. Coloque a informação crítica no começo ou no fim do contexto, onde a curva em U ainda é alta. Recupere um conjunto amplo de trechos e use reranking, um segundo passo que reordena esses trechos por relevância antes de mandar pro modelo, deixando o melhor no topo e cortando o resto; a Anthropic relata que adicionar contexto a cada chunk derruba as falhas de recuperação em torno de 49%, chegando a 67% quando o reranking entra junto. Conserte os chunks na origem: sobreponha algumas linhas entre um e outro, corte em fronteiras de significado e não de caractere, e prefixe cada pedaço com uma frase que diga de onde ele veio. E quando os fatos dependem uns dos outros, dê estrutura ao modelo em vez de um muro de texto, com resumos hierárquicos ou um knowledge graph onde a ligação entre a cláusula e a sua exceção continua explícita depois do corte.
Quando o material é pequeno o bastante, vale a pena a rota oposta: colocar tudo na janela e usar cache. A perda no meio é um problema de documento longo, não de qualquer documento.
Onde a Pumpkin entra
Decidir o que o modelo vê a cada chamada é uma das seis funções do harness que a Pumpkin constrói em volta do modelo, ao lado de memória, recuperação, guardrails e o resto. Em vez de despejar um documento inteiro e contar com a sorte de a atenção achar o meio, o nosso harness recupera só o que importa pela estrutura do domínio, num knowledge graph onde a relação entre a cláusula da multa e a exceção de força maior continua ligada depois do corte que quebraria um chunk comum. Controlar o contexto é uma peça da engenharia maior, não o produto inteiro, mas é uma peça que decide se a resposta sobre a página 47 vem do contrato ou da imaginação do modelo.
Por que os LLMs perdem contexto em documentos longos?
O que é o efeito lost in the middle?
Qual a diferença entre falha de chunk e degradação de atenção?
Um modelo com janela de 128k tokens usa os 128k?
Aumentar a janela de contexto resolve a perda de contexto?
Como reduzir a perda de contexto em documentos longos?
O teste needle in a haystack mede bem o contexto longo?
- Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang. Lost in the Middle: How Language Models Use Long Contexts. TACL, vol. 12, 2024. (arXiv 2307.03172, 2023)
- Hsieh et al. (NVIDIA). RULER: What's the Real Context Size of Your Long-Context Language Models?. arXiv 2404.06654, 2024.
- Modarressi et al. (Adobe Research). NoLiMa: Long-Context Evaluation Beyond Literal Matching. ICML, 2025. (arXiv 2502.05167)
- Anthropic. Introducing Contextual Retrieval. 2024.
- Context Length Alone Hurts LLM Performance Despite Perfect Retrieval. arXiv 2510.05381, 2025.