Inteligência Artificial

Como os LLMs perdem contexto em documentos longos

Por Vivian Kang
Como os LLMs perdem contexto em documentos longos
Pumpkin Explica, #4
(Falha de chunk e degradação de atenção, os dois jeitos de perder o meio)
Nota da editora: quarto post da série Pumpkin Explica. No primeiro explicamos o mecanismo de atenção e no terceiro, como o RAG recupera dados; aqui os dois se encontram, porque é em documento longo que cada um falha do seu jeito. Cada termo técnico é explicado na primeira vez que aparece, e há um glossário no fim.
TL;DR

Dar um documento longo ao modelo não garante que ele use o documento. Há dois jeitos de entregar um texto longo, e cada um perde contexto à sua maneira. No RAG, a falha de chunk corta o documento e separa fatos que dependem um do outro. Na janela de contexto, a degradação de atenção dilui o foco do modelo quando há texto demais de uma vez. Os dois deixam morrer a informação que está no meio. A janela usável de um modelo é bem menor que a anunciada, e a saída não é mandar mais texto: é mandar menos, e o certo.

Você joga um contrato de 90 páginas no modelo e pergunta qual a multa por atraso na entrega. A cláusula está lá, na página 47. O modelo responde, com firmeza, um número que não está no documento.

O modelo recebeu o contrato inteiro. A resposta estava dentro do que ele recebeu. E ainda assim ele errou. Esse é o problema deste post, e ele tem duas causas que costumam ser confundidas como uma só.

01 — O sintoma

Por que o modelo erra mesmo com o documento inteiro no contexto

Existem dois jeitos de entregar um documento longo a um modelo, e a confusão começa porque eles falham por motivos diferentes.

O primeiro é colar o texto inteiro na janela de contexto, o espaço de leitura do modelo, medido em tokens (os pedaços de palavra em que o texto é quebrado; "entrega" pode ser um token, "fornecimento" pode virar dois ou três). O segundo é quebrar o documento em chunks, pedaços menores guardados e indexados separadamente, e recuperar só os trechos relevantes na hora da pergunta, que é como funciona o RAG.

A tese deste artigo cabe em uma frase: a rota dos chunks pode falhar antes de o modelo ver o texto certo, e a rota da janela pode falhar mesmo com o texto inteiro à vista. Uma é um problema de recuperação. A outra é um problema de arquitetura. O resto do post abre cada uma e mostra o que fazer.

02 — A recuperação

Falha de chunk: por que o RAG perde contexto ao cortar o documento

Chunking corta o documento em pedaços pra recuperar só os relevantes. O próprio corte é onde o contexto começa a vazar.

O corte mais comum é por tamanho fixo, a cada tantos caracteres ou tokens, e ele ignora o significado. A cláusula da multa, que ocupa o fim da página 47 e começo da 48, é partida no meio: a recuperação traz a primeira metade e deixa a condição decisiva na segunda. Pior que isso é a referência cruzada. A cláusula diz "multa de 2% ao dia, salvo nos casos de força maior do art. 12", mas o art. 12 está na página 9, em outro chunk. Recuperado sozinho, o pedaço da multa parece completo e está errado, porque a exceção que muda a resposta ficou pra trás. É o mesmo defeito de recuperar o passo 6 de um procedimento sem os passos de 1 a 5: o modelo preenche o buraco inventando.

No fundo de tudo está um trade-off que define a qualidade do RAG, o tamanho do chunk. Chunk pequeno dá recuperação precisa, mas cada pedaço chega sem o contexto à sua volta. Chunk grande preserva o contexto, mas dilui a recuperação: a frase relevante fica enterrada em texto irrelevante, o match com a pergunta enfraquece, e o problema do meio que veremos a seguir reaparece dentro do próprio chunk. Não existe tamanho ideal universal, e é por isso que similaridade de texto sozinha não basta quando os fatos dependem uns dos outros.

Documento de 90 páginas fatiado em chunks: a cláusula da multa é cortada na fronteira entre dois pedaços e a recuperação traz só metade, deixando a exceção do art. 12 para trás.
Falha de chunk: o corte por tamanho fixo parte a cláusula da multa e separa a exceção do art. 12. Recuperado sozinho, o pedaço parece completo — e está errado.
03 — A arquitetura

Degradação de atenção: por que o LLM perde o meio do contexto

Agora a outra rota. Suponha que você não corte nada e cole o contrato inteiro na janela. O modelo vê todas as 90 páginas. E ainda assim erra o meio. A causa aqui não está na recuperação, e sim na forma como a atenção funciona, o mecanismo que deixa cada token olhar pros outros e decidir quais importam pra próxima palavra (é o tema do primeiro post da série).

Vale descer um nível, porque é aqui que mora a causa. A atenção usa uma função chamada softmax, que transforma um monte de números em pesos que somam exatamente 1. Cada token tem, portanto, um orçamento fixo de foco para distribuir entre todos os tokens anteriores. Com algumas centenas de tokens, o modelo consegue concentrar quase todo esse orçamento nos poucos que importam. Com 90 mil tokens, o mesmo orçamento de 1 precisa ser repartido entre 90 mil candidatos: os picos achatam, a distribuição escorrega na direção do uniforme, e o modelo perde a capacidade de iluminar a única cláusula que responde à pergunta. Pense num holofote de brilho fixo, que destaca bem um ator num palco pequeno e não destaca ninguém quando é espalhado por um estádio inteiro.

A diluição não vem sozinha. Some-se a ela um segundo problema, agora não de quais tokens importam, mas de onde eles estão. É que a atenção, sozinha, não enxerga ordem nenhuma — ela vê um conjunto de tokens, não uma fila. Pra saber que um token vem antes do outro, o modelo cola em cada um um sinal extra de posição, um carimbo que diz "você é o terceiro, você é o quarto". Sem ele, "o cão mordeu o homem" e "o homem mordeu o cão" seriam idênticos. O problema é que esse carimbo foi calibrado dentro da faixa de comprimentos que o modelo viu no treino. Empurrado muito além dela, ele passa a operar num território que nunca aprendeu a representar: o sinal perde precisão e o senso de "onde" cada token está fica embaçado. A diluição apaga quais tokens importam; a codificação de posição degradada embaralha onde eles estão.

Some a isso o fato de que dependências muito longas (um fato no token 2.000 que só importa no token 90.000) são raras nos dados de treino, então esse comportamento é pouco treinado. O modelo recua para o que viu mais: o começo e o fim. Por isso a perda no meio é uma propriedade da arquitetura, não um bug que um modelo maior resolve sozinho.

●/03 — o orçamento da atenção · pumpkin labs
anim · 16:9 · t = 00:00.00
A atenção reparte um orçamento de foco que soma exatamente 1 entre todos os tokens. Arraste o número de tokens e veja o pico achatar.
peso da atenção
98,3%do foco
token relevante
tokens no contexto8
81001 00010 00090 000
Com poucos tokens, o modelo concentra quase todo o foco no que importa — o holofote ilumina um palco pequeno.
ilustração de softmax real · um token com vantagem fixa de pontuação, fundo uniforme · altura em escala √ para legibilidade
0:00.00
0:00.00
04 — A ponte

Lost in the middle: a curva em U da atenção em contextos longos

Esse efeito tem nome. Um estudo de Stanford o batizou de lost in the middle: o desempenho é alto quando a informação está no começo ou no fim do contexto e despenca quando ela está no meio, desenhando uma curva em formato de U. Os números são contraintuitivos. Mover a resposta do começo para o meio do contexto chega a derrubar a precisão em mais de 20 pontos percentuais. No pior caso medido, dar o documento ao modelo com a resposta no meio o deixou menos preciso do que não dar documento nenhum, abaixo dos cerca de 56% que ele acertava respondendo só de memória. A informação a mais piorou a resposta.

●/04 — lost in the middle · pumpkin labs
anim · 16:9 · t = 00:00.00
Você dá ao modelo um documento longo e pergunta algo cuja resposta está lá dentro.
documento
40%
56%
76%
acurácia ↑
início
meio
fim
posição da resposta dentro do contexto →
0:00.00
0:52.00

É aqui que as duas falhas se encontram. Lost in the middle é um efeito de atenção e posição, da rota da janela. Mas ele volta a morder dentro de um chunk grande demais, da rota da recuperação: um pedaço extenso o bastante pra atrapalhar o match da busca é também um pedaço cujo meio o modelo lê por cima. O contrato perde a cláusula da multa das duas formas ao mesmo tempo, e elas se reforçam.

Dar o documento inteiro ao modelo não é o mesmo que o modelo usar o documento inteiro. O meio do contexto é onde a informação vai morrer primeiro, seja ela cortada por um chunk ou diluída pela atenção.

05 — A evidência

Janela de contexto: a diferença entre a anunciada e a usável

O número estampado no modelo, 128 mil tokens, 1 milhão, mede o que cabe, não o que é usado bem. A medida que importa é a janela usável (effective context length): a maior sequência em que o modelo ainda mantém qualidade.

Benchmarks de contexto longo deixam o tamanho dessa diferença claro. O RULER, da NVIDIA, mostra modelos anunciados com 128 mil tokens cuja faixa confiável fica perto de 64 mil, e modelos de 200 mil caindo para a casa de 32 mil. O NoLiMa, da Adobe, foi além e removeu a coincidência de palavras entre a pergunta e a resposta, forçando raciocínio de verdade: entre 13 modelos que prometem 128 mil ou mais, 11 caíram abaixo de metade do seu próprio desempenho de texto curto já aos 32 mil tokens, e um modelo de ponta despencou de 99% para 70%.

Vale entender por que esses números surpreendem tanta gente. O teste popular de contexto longo é o needle in a haystack: esconder uma frase num texto enorme e pedir pro modelo achar. A maioria dos modelos passa o teste, e é justamente por isso que ele engana. É um match exato, palavra por palavra; a pergunta de verdade ("qual a multa, considerando força maior?") exige juntar coisas que não estão escritas com as mesmas palavras. E é justamente isso que o modelo perde no meio.

●/05 — janela usável · pumpkin labs
anim · 16:9 · t = 00:00.00
O número estampado mede o que cabe — não o que o modelo usa bem.
0:00.00
0:14.00
06 — A saída

Como reduzir a perda de contexto em documentos longos

O fio condutor de toda solução é o mesmo: mandar menos contexto, porém o certo. Despejar a janela inteira e torcer pra atenção achar o que precisa é a aposta que falha.

Na prática, algumas decisões resolvem a maior parte dos casos. Coloque a informação crítica no começo ou no fim do contexto, onde a curva em U ainda é alta. Recupere um conjunto amplo de trechos e use reranking, um segundo passo que reordena esses trechos por relevância antes de mandar pro modelo, deixando o melhor no topo e cortando o resto; a Anthropic relata que adicionar contexto a cada chunk derruba as falhas de recuperação em torno de 49%, chegando a 67% quando o reranking entra junto. Conserte os chunks na origem: sobreponha algumas linhas entre um e outro, corte em fronteiras de significado e não de caractere, e prefixe cada pedaço com uma frase que diga de onde ele veio. E quando os fatos dependem uns dos outros, dê estrutura ao modelo em vez de um muro de texto, com resumos hierárquicos ou um knowledge graph onde a ligação entre a cláusula e a sua exceção continua explícita depois do corte.

Quando o material é pequeno o bastante, vale a pena a rota oposta: colocar tudo na janela e usar cache. A perda no meio é um problema de documento longo, não de qualquer documento.

07 — A Pumpkin

Onde a Pumpkin entra

Decidir o que o modelo vê a cada chamada é uma das seis funções do harness que a Pumpkin constrói em volta do modelo, ao lado de memória, recuperação, guardrails e o resto. Em vez de despejar um documento inteiro e contar com a sorte de a atenção achar o meio, o nosso harness recupera só o que importa pela estrutura do domínio, num knowledge graph onde a relação entre a cláusula da multa e a exceção de força maior continua ligada depois do corte que quebraria um chunk comum. Controlar o contexto é uma peça da engenharia maior, não o produto inteiro, mas é uma peça que decide se a resposta sobre a página 47 vem do contrato ou da imaginação do modelo.

FAQ — Perguntas frequentes

Por que os LLMs perdem contexto em documentos longos?

Por dois motivos distintos. No RAG, a falha de chunk: cortar o documento em pedaços separa fatos que dependem um do outro, e a recuperação traz um pedaço sem o outro. Na janela de contexto, a degradação de atenção: quando o documento inteiro entra de uma vez, o mecanismo de atenção espalha um orçamento fixo de foco por dezenas de milhares de tokens e não consegue mais destacar o trecho certo. Os dois acabam perdendo a informação que está no meio.

O que é o efeito lost in the middle?

É a tendência de um LLM recuperar bem a informação que está no começo ou no fim do contexto e errar quando ela está no meio, desenhando uma curva de desempenho em formato de U. Um estudo de Stanford mostrou que, no pior caso, dar o documento ao modelo com a resposta no meio o deixou menos preciso do que não dar documento nenhum.

Qual a diferença entre falha de chunk e degradação de atenção?

Falha de chunk é um problema de recuperação: o modelo nunca chega a ver o texto certo inteiro, porque ele foi cortado e só uma parte foi recuperada. Degradação de atenção é um problema de arquitetura: o modelo vê o texto inteiro, mas não consegue prestar atenção em tudo de uma vez. Uma acontece antes do modelo ler; a outra, enquanto ele lê.

Um modelo com janela de 128k tokens usa os 128k?

Quase nunca por inteiro. A janela usável (effective context length) costuma ser bem menor que a anunciada. Benchmarks de contexto longo mostram modelos de 128k com desempenho confiável só até a faixa de 64k, e de 200k caindo para perto de 32k em tarefas que exigem raciocínio, não só achar uma frase exata.

Aumentar a janela de contexto resolve a perda de contexto?

Não. A degradação de atenção é uma propriedade de como o mecanismo de atenção e a codificação de posição funcionam, não uma falta de espaço. Janelas maiores deixam você colocar mais texto, mas o foco continua se diluindo no meio. O que resolve é enviar menos e melhor, não mais.

Como reduzir a perda de contexto em documentos longos?

Envie menos contexto, porém o certo. Coloque a informação crítica no começo ou no fim, recupere e reordene os trechos por relevância (reranking), conserte os chunks com sobreposição e contexto adicionado, e dê estrutura ao modelo (resumos hierárquicos ou um knowledge graph) em vez de um muro de texto. Quando o material é pequeno, cabe colocar tudo de uma vez.

O teste needle in a haystack mede bem o contexto longo?

Mede mal. O teste esconde uma frase plantada num texto enorme e pede pro modelo achar; como é um match literal, a maioria dos modelos passa. Perguntas reais exigem raciocínio associativo, não busca de string idêntica, e aí o desempenho despenca. Por isso benchmarks mais novos foram criados pra medir o que esse teste esconde.
Glossário rápido
Janela de contexto
O espaço de leitura do modelo: a quantidade de texto, medida em tokens, que ele consegue receber de uma vez numa chamada.
Token
A unidade em que o texto é quebrado antes de entrar no modelo. Pode ser uma palavra, um pedaço de palavra ou um sinal de pontuação.
Chunk
Pedaço de um documento depois que ele é cortado em partes menores pra ser indexado e recuperado de forma independente num sistema de RAG.
Atenção
O mecanismo que deixa cada token olhar pros outros e decidir quais são mais relevantes pra prever a próxima palavra.
Softmax
Função que transforma um conjunto de números em pesos que somam 1. Na atenção, é o que reparte o "orçamento de foco" de cada token entre todos os anteriores.
Codificação de posição
A forma como o modelo registra a ordem dos tokens. Calibrada nas distâncias vistas no treino, ela degrada quando o contexto vai muito além disso.
Lost in the middle
A queda de desempenho quando a informação relevante está no meio do contexto, em contraste com o começo e o fim. Desenha uma curva em U.
Effective context length
A janela usável: a maior sequência em que o modelo ainda mantém qualidade, normalmente bem menor que a janela anunciada.
Needle in a haystack
Teste que esconde uma frase plantada num texto enorme e pede pro modelo achá-la. Por ser um match literal, superestima a real capacidade de contexto longo.
Reranking
Passo que reordena os trechos recuperados por relevância antes de mandá-los ao modelo, deixando os melhores no topo e descartando o resto.
RAG
Geração aumentada por recuperação. Em vez de o modelo responder de memória, o sistema busca o trecho relevante numa fonte externa e o injeta no prompt na hora da pergunta.
Referências
  • Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang. Lost in the Middle: How Language Models Use Long Contexts. TACL, vol. 12, 2024. (arXiv 2307.03172, 2023)
  • Hsieh et al. (NVIDIA). RULER: What's the Real Context Size of Your Long-Context Language Models?. arXiv 2404.06654, 2024.
  • Modarressi et al. (Adobe Research). NoLiMa: Long-Context Evaluation Beyond Literal Matching. ICML, 2025. (arXiv 2502.05167)
  • Anthropic. Introducing Contextual Retrieval. 2024.
  • Context Length Alone Hurts LLM Performance Despite Perfect Retrieval. arXiv 2510.05381, 2025.
Quarto post da série Pumpkin Explica. A lição se repete: o gargalo raramente é o modelo. Um documento de 90 páginas não vira conhecimento porque coube na janela, e sim porque alguém decidiu, com cuidado, o que o modelo precisava ver pra responder.

Gostou do conteúdo?

Entre em contato conosco para descobrir como implementar essas soluções na sua empresa.