Inteligência Artificial

O que é engenharia de contexto: o recurso mais escasso do seu agente

Por Vivian Kang
Pumpkin LabsPumpkin ExplicaAgentesEnsaio Nº 18
O que é
engenharia
de contexto
Pumpkin Labs
Engenharia de contexto
Por Pumpkin Labs · Pesquisa
pumpkinlabs.io
~13 min · jul 2026
Janela de contexto · esquemático
Fig. 02
01.
Janela
tokens
02.
Orçamento
alocação
03.
Limite
descarte
recurso escasso → a janela · o orçamento
S01 · E18
Pumpkin Explica, #18
(Por que o contexto que você monta importa tanto quanto o modelo que você usa)
TL;DR

A janela de contexto de um LLM é o recurso mais escasso de um agente, e a maioria dos times age como se ela fosse infinita. Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens. Este post mostra por que recuperar os trechos mais similares não é montar o melhor contexto, por que cada token que entra empurra outro para fora (custo de oportunidade), por que a posição no contexto degrada a atenção (degradação posicional) e por que o sinal se perde quando há muitos tokens parecidos (diluição de atenção). A conclusão é prática: engenharia de contexto é responsabilidade do harness, não do modelo, e é o que separa um agente que funciona de um que parece funcionar só no protótipo.

Um agente de suporte ao cliente precisa responder: "Qual o prazo de entrega e a política de troca para o pedido #12345, que foi feito com frete expresso e contém um item frágil?" A resposta certa está em algum lugar dos documentos da empresa. O problema é que o modelo não tem espaço para ler todos eles de uma vez.

A janela de contexto de um LLM é o único espaço onde o modelo "vê" informação nova a cada chamada. Fora dela, existe o que ele aprendeu no treino (conhecimento estático, genérico e datado) e o silêncio. Para um agente que precisa responder com base em documentos reais, a janela de contexto é o recurso mais escasso, e a maioria dos times a trata como se fosse infinita. Jogar tudo que parece relevante dentro dela é o instinto natural, e é o caminho mais rápido para um agente que erra sem que ninguém entenda por quê.

01 — O problema

Por que a janela de contexto é o primeiro problema da engenharia de contexto?

O agente de suporte do nosso exemplo precisa de informação de quatro lugares diferentes: o contrato de frete (que define prazos para cada modalidade), a política de troca (que varia por tipo de produto), o manual do item frágil (que pode ter regras especiais de devolução) e o histórico do pedido #12345 (que confirma o frete expresso e o item específico). Cada um desses documentos pode ter dezenas de páginas. Mesmo que você consiga resumir cada um a alguns parágrafos, o total rapidamente ultrapassa dezenas de milhares de tokens.

Modelos de fronteira hoje anunciam janelas de 128k, 200k, até 1 milhão de tokens. Mas a realidade prática é outra. Estudos mostram que a capacidade de recuperar informação cai conforme o contexto cresce, mesmo dentro da janela nominal, e é isso que faz um modelo perder o fio da conversa muito antes de encher a janela. Um modelo pode "ver" 128k tokens, mas a partir de um certo ponto, a informação que está no meio ou no fim do contexto simplesmente não é usada com confiabilidade. A janela útil é sempre menor do que a anunciada, e para um agente que precisa de precisão, o limite real é muito mais apertado do que parece.

02 — A definição

O que é engenharia de contexto?

Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens. Não é sobre escrever prompts melhores, embora isso faça parte. É sobre tratar a janela de contexto como um orçamento finito e alocar cada token com base no retorno esperado para a tarefa.

Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens.

Pense no agente de suporte. Você tem, digamos, 8.000 tokens úteis de janela. O contrato de frete sozinho tem 3.000. A política de troca tem 2.500. O manual do item frágil tem 1.500. O histórico do pedido tem 500. Some os quatro: 7.500 tokens, ainda dentro do limite. Mas se você também precisar incluir o prompt do sistema (500 tokens), a descrição do contexto da conversa (300 tokens) e a pergunta do usuário (100 tokens), o total sobe para 8.400. Você já estourou. E isso sem considerar que, se o agente precisar fazer uma chamada de ferramenta (como consultar um sistema de estoque), o resultado da chamada também precisa entrar no contexto. A conta fecha rápido, e fecha mal.

03 — Seleção de chunks

Por que similaridade semântica não resolve engenharia de contexto?

A abordagem mais comum para montar o contexto é usar RAG (Retrieval-Augmented Generation): dividir os documentos em pedaços (chunks), gerar um embedding (um vetor de números que representa o significado) para cada um, e na hora da pergunta recuperar os k chunks mais similares à pergunta por similaridade de cosseno (a medida do ângulo entre dois vetores). É o que a maioria das bibliotecas e tutoriais ensina.

O problema é que similaridade semântica não é a mesma coisa que relevância para a tarefa. Um chunk sobre "política de troca para itens frágeis" pode ter alta similaridade com a pergunta do agente, mas se o chunk que você recuperou é um parágrafo genérico sobre trocas em geral, e não a seção específica que trata de itens frágeis com frete expresso, ele não resolve. Pior: ele ocupa espaço que poderia ser usado por um chunk menos similar, mas mais informativo para aquela pergunta exata.

A literatura documenta esse fenômeno de forma ampla. Recuperar por similaridade de embedding tende a favorecer chunks que são genericamente sobre o tema, mas que não contêm o fato específico que a pergunta exige. Para o agente de suporte, isso significa que ele pode receber três chunks sobre política de troca, todos parecidos, e nenhum que mencione a regra especial para itens frágeis com frete expresso. O contexto fica cheio de informação redundante e vazio da informação crítica.

04 — Custo de oportunidade

Qual o custo de oportunidade na engenharia de contexto?

Aqui está a consequência mais negligenciada da janela limitada: cada token que você coloca no contexto é um token que você tira de outro lugar. Isso é o custo de oportunidade do contexto. Se você gasta 2.000 tokens com chunks redundantes sobre política de troca, você perdeu a chance de incluir o manual do item frágil ou o histórico detalhado do pedido.

Para o agente de suporte, a decisão não é "quais chunks são relevantes?". É "dado que só posso colocar X tokens, qual combinação de chunks maximiza a chance de o modelo responder corretamente?". Isso é um problema de otimização combinatória, não de busca por similaridade. E a maioria dos sistemas de RAG trata como se fosse o segundo.

O custo de oportunidade também se aplica ao prompt do sistema. Quanto mais instruções genéricas você coloca no prompt, menos espaço sobra para os fatos do domínio. Um prompt de sistema inchado, com regras de formato, exemplos de saída e avisos de segurança, pode consumir dezenas de porcento da janela útil antes mesmo de o agente começar a trabalhar. Cada token de instrução genérica compete diretamente com um token de informação específica sobre o pedido #12345.

05 — Degradação posicional

Como a engenharia de contexto lida com a degradação posicional?

LLMs não tratam todos os tokens do contexto de forma igual. A arquitetura de atenção tem um viés posicional bem documentado: tokens no início e no fim do contexto recebem mais atenção do que tokens no meio. Esse fenômeno, chamado de degradação posicional ou "lost in the middle", significa que a posição de um chunk no contexto pode determinar se ele será usado ou ignorado.

O formato dessa curva é bem estabelecido na literatura: a precisão é alta quando o fato está nas primeiras posições, cai no miolo e sobe de novo perto do fim. O mecanismo exato ainda é objeto de pesquisa, mas dois fatores estruturais ajudam a explicar o desenho. O primeiro é a atenção causal: cada token só enxerga os que vieram antes dele, então o que está no começo participa de todas as posições seguintes e acumula influência ao longo da sequência. O segundo é a codificação posicional, que na maioria dos modelos faz o peso da atenção decair com a distância, o que favorece o que está mais perto da pergunta, no fim. Soma a isso o fato de que, nos dados de treino, o começo e o fim de um documento costumam concentrar o que importa, e você tem um modelo que aprendeu a olhar para as pontas.

Para o agente de suporte, isso tem uma implicação direta. Se você coloca o contrato de frete no início (porque é o primeiro que veio da busca) e a política de troca no fim (porque veio depois), o manual do item frágil, que está no meio, pode simplesmente não ser lido pelo modelo. A informação crítica sobre como embalar o item para devolução, que está no manual, fica invisível não por ser irrelevante, mas por estar na posição errada.

A solução não é simplesmente colocar tudo no início ou no fim. É entender que a ordem é uma decisão de design, não um acidente da ordem de recuperação. O harness precisa posicionar os chunks de forma que os mais críticos para a pergunta estejam nas posições de maior atenção, e os menos críticos (ou redundantes) fiquem nas posições de menor atenção, ou simplesmente não entrem.

06 — Diluição de atenção

Como a engenharia de contexto evita a diluição de atenção?

A degradação posicional não é o único problema. Há um efeito mais sutil, que a gente chama de diluição de atenção. Quando muitos tokens no contexto são semanticamente similares entre si, a atenção do modelo se espalha por todos eles, e o sinal específico que você precisa se perde no ruído.

O mecanismo é direto. A atenção softmax normaliza os pesos de forma que a soma total seja 1. Se você tem 10 tokens diferentes sobre o mesmo tópico, e cada um recebe um score similar, o peso de cada um será cerca de 0,1. Se você tivesse apenas 2 tokens, o peso de cada um seria cerca de 0,5. Quanto mais tokens similares, mais o "orçamento" de atenção se divide, e menos sinal cada token individual carrega para o modelo. O modelo acaba tendo uma visão borrada do tópico, em vez de uma visão nítida da informação específica que importa.

Volte ao agente de suporte. Suponha que você recuperou cinco chunks sobre política de troca, todos dizendo coisas ligeiramente diferentes sobre o mesmo tema. O modelo precisa encontrar a regra exata para itens frágeis com frete expresso. Mas, como há quatro outros chunks sobre troca no contexto, a atenção se distribui entre eles. O chunk que contém a regra específica recebe apenas uma fração da atenção total, e o modelo pode acabar respondendo com a regra genérica, que está em três dos cinco chunks, em vez da específica, que está em um.

Mais contexto não é melhor contexto. Contexto denso, com pouca redundância e alta especificidade, é o que funciona.

A diluição de atenção é um argumento forte contra a prática de "encher o contexto de tudo que pode ser relevante". Mais contexto não é melhor contexto. Contexto denso, com pouca redundância e alta especificidade, é o que funciona. O harness precisa não só selecionar os chunks certos, mas também garantir que eles não sejam tantos e tão parecidos que o sinal se perca.

07 — A divisão

Por que a engenharia de contexto é responsabilidade do harness?

É tentador jogar esses problemas para o modelo: "o modelo tem uma janela grande, ele que se vire". Mas isso ignora que o modelo não tem como saber, sozinho, qual chunk é o mais importante para aquela pergunta específica. Ele vê todos os tokens que você deu a ele, e tenta o melhor que pode. Se o contexto está mal montado, a resposta será ruim, e o modelo não tem como te avisar que o problema é o contexto, não ele.

Engenharia de contexto é responsabilidade do harness, a camada de infraestrutura que embrulha o modelo. O harness decide quais fontes consultar, como chunkear os documentos, como ranquear os chunks por relevância real (não só similaridade), como posicioná-los no contexto e como comprimir ou resumir quando o orçamento de tokens aperta. O modelo executa a tarefa; o harness garante que ele tenha os dados certos, na ordem certa, na quantidade certa.

Para o agente de suporte, o harness precisa implementar uma lógica de seleção que entenda que "política de troca para itens frágeis com frete expresso" não é a mesma coisa que "política de troca genérica". Precisa saber que o manual do item frágil, mesmo sendo menos similar à pergunta no espaço de embeddings, é mais informativo do que um terceiro chunk sobre troca. E precisa posicionar o chunk crítico no início ou no fim do contexto, não no meio. Tudo isso é engenharia de contexto, e tudo isso é trabalho do harness.

08 — A Pumpkin

Como a Pumpkin aplica engenharia de contexto no harness?

A engenharia de contexto é uma das competências centrais do harness que a gente constrói na Pumpkin. A maioria dos times monta o contexto com RAG ingênuo, descobre que o agente erra e culpa o modelo. O trabalho que a gente faz começa justamente aí: tratar o contexto como a variável a ser depurada, e não como um detalhe que se resolve trocando de modelo.

Na prática, isso é menos uma técnica e mais um conjunto de decisões que precisam ser tomadas por documento, por domínio e por pergunta. O que conta como um chunk útil num contrato de frete não é o que conta num manual técnico, e a ordem que funciona para uma pergunta factual não é a que funciona para uma comparação. Não existe configuração universal aqui, e é por isso que a engenharia de contexto é trabalho de engenharia contínua, não um parâmetro que se ajusta uma vez e se esquece.

A lição que fica é que o contexto é a parte frágil do sistema, não o modelo. Um agente que erra raramente erra por falta de inteligência; ele erra porque nunca viu, ou viu na posição errada, o dado que decidiria a resposta.

Glossário rápido
Token
A menor unidade que o modelo processa, um pedaço de texto (palavra, sílaba ou caractere). O limite de contexto é medido em tokens.
Janela de contexto
O número máximo de tokens que o modelo pode "ver" de uma vez numa chamada. É o orçamento disponível para colocar instruções, documentos e histórico.
Chunk
Um pedaço de documento, de tamanho fixo ou variável, usado para recuperação e inserção no contexto.
Embedding
Um vetor de números que representa o significado semântico de um texto. Textos com significado parecido produzem vetores próximos.
Similaridade de cosseno
A medida do ângulo entre dois embeddings. Quanto menor o ângulo, maior a similaridade semântica entre os textos originais.
RAG (Retrieval-Augmented Generation)
Técnica que recupera chunks de documentos por similaridade e os insere no contexto para que o modelo responda com base neles.
Custo de oportunidade do contexto
Cada token que entra no contexto ocupa espaço que poderia ser usado por outro token. A escolha de um chunk implica abrir mão de outro.
Degradação posicional (lost in the middle)
Fenômeno em que tokens no meio do contexto recebem menos atenção do que tokens no início ou no fim, reduzindo a chance de serem usados.
Diluição de atenção
Quando muitos tokens semanticamente similares estão no contexto, o peso de atenção se distribui entre eles, diminuindo o sinal de cada token individual.
Harness
A camada de infraestrutura que embrulha o modelo, responsável por selecionar, ordenar e comprimir o contexto antes de passar para o LLM.
FAQ · Perguntas frequentes

O que é engenharia de contexto?

Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem no contexto de um LLM, dentro de um limite rígido de tokens. Não é sobre escrever prompts melhores, embora isso faça parte. É sobre tratar a janela de contexto como um orçamento finito e alocar cada token com base no retorno esperado para a tarefa. É a diferença entre um agente que funciona e um que erra sem explicação.

Por que a engenharia de contexto é importante para agentes de IA?

Porque a janela de contexto é o recurso mais escasso de um agente. Um agente precisa de informação de múltiplas fontes (contratos, políticas, históricos), e o modelo só "vê" o que está na janela. Sem engenharia de contexto, o agente enche a janela com informação redundante ou irrelevante, e a resposta crítica fica de fora. A engenharia de contexto garante que cada token seja usado com máximo retorno.

Como a engenharia de contexto difere do RAG tradicional?

O RAG tradicional recupera os k chunks mais similares por embedding e os joga no contexto. A engenharia de contexto vai além: ela ranqueia chunks por relevância real para a tarefa, gerencia o custo de oportunidade de cada token, posiciona os chunks críticos nas zonas de maior atenção e comprime informação redundante. Similaridade semântica não é relevância, e a engenharia de contexto corrige esse erro fundamental.

O que é custo de oportunidade na engenharia de contexto?

Cada token que entra no contexto empurra outro para fora. Se você gasta tokens com chunks redundantes, perde a chance de incluir informação crítica de outra fonte. A engenharia de contexto trata a janela como um orçamento e decide qual combinação de chunks maximiza a chance de acerto, em vez de apenas jogar tudo que parece relevante. É um problema de otimização combinatória, não de busca por similaridade.

O que é degradação posicional ou lost in the middle?

LLMs não tratam todos os tokens do contexto de forma igual. Tokens no início e no fim recebem mais atenção do que tokens no meio. A engenharia de contexto precisa posicionar os chunks mais críticos nas zonas de maior atenção, e os menos críticos no meio, ou simplesmente deixá-los de fora. A ordem é uma decisão de design, não um acidente da ordem de recuperação.

O que é diluição de atenção na engenharia de contexto?

Quando muitos tokens semanticamente similares estão no contexto, a atenção do modelo se espalha por todos eles, e o sinal específico se perde no ruído. A engenharia de contexto evita isso selecionando chunks com alta especificidade e pouca redundância. Mais contexto não é melhor contexto; contexto denso e não redundante é o que funciona.

Por que a engenharia de contexto é responsabilidade do harness?

O modelo não tem como saber, sozinho, qual chunk é o mais importante para aquela pergunta específica. Ele vê todos os tokens que você deu a ele. Se o contexto está mal montado, a resposta será ruim. O harness, a camada de infraestrutura que embrulha o modelo, é quem decide quais fontes consultar, como ranquear, posicionar e comprimir os chunks. Engenharia de contexto é trabalho do harness, não do modelo.

Por que aumentar a janela de contexto não substitui a engenharia de contexto?

Porque a janela útil é sempre menor do que a anunciada. Estudos mostram que a capacidade de recuperar informação cai conforme o contexto cresce, mesmo dentro da janela nominal. Além disso, janelas maiores incentivam o hábito de jogar tudo no contexto, o que piora a diluição de atenção e o custo de oportunidade. Engenharia de contexto resolve o problema na origem, em vez de tentar contorná-lo com hardware.
Referências
  • Liu, N. F. et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172, 2023.
  • Lewis, P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020.
  • Karpukhin, V. et al. Dense Passage Retrieval for Open-Domain Question Answering. EMNLP, 2020.
Décimo oitavo post da série Pumpkin Explica. A janela de contexto é o recurso mais escasso de um agente, e tratá-la como se fosse infinita é o erro mais comum e mais caro que a gente vê. Engenharia de contexto é a disciplina de alocar cada token com base no retorno esperado, e é responsabilidade do harness, não do modelo. O modelo executa; o harness garante que ele tenha os dados certos, na ordem certa, na quantidade certa.

Gostou do conteúdo?

Entre em contato conosco para descobrir como implementar essas soluções na sua empresa.