O que é engenharia de contexto: o recurso mais escasso do seu agente
A janela de contexto de um LLM é o recurso mais escasso de um agente, e a maioria dos times age como se ela fosse infinita. Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens. Este post mostra por que recuperar os trechos mais similares não é montar o melhor contexto, por que cada token que entra empurra outro para fora (custo de oportunidade), por que a posição no contexto degrada a atenção (degradação posicional) e por que o sinal se perde quando há muitos tokens parecidos (diluição de atenção). A conclusão é prática: engenharia de contexto é responsabilidade do harness, não do modelo, e é o que separa um agente que funciona de um que parece funcionar só no protótipo.
Um agente de suporte ao cliente precisa responder: "Qual o prazo de entrega e a política de troca para o pedido #12345, que foi feito com frete expresso e contém um item frágil?" A resposta certa está em algum lugar dos documentos da empresa. O problema é que o modelo não tem espaço para ler todos eles de uma vez.
A janela de contexto de um LLM é o único espaço onde o modelo "vê" informação nova a cada chamada. Fora dela, existe o que ele aprendeu no treino (conhecimento estático, genérico e datado) e o silêncio. Para um agente que precisa responder com base em documentos reais, a janela de contexto é o recurso mais escasso, e a maioria dos times a trata como se fosse infinita. Jogar tudo que parece relevante dentro dela é o instinto natural, e é o caminho mais rápido para um agente que erra sem que ninguém entenda por quê.
Por que a janela de contexto é o primeiro problema da engenharia de contexto?
O agente de suporte do nosso exemplo precisa de informação de quatro lugares diferentes: o contrato de frete (que define prazos para cada modalidade), a política de troca (que varia por tipo de produto), o manual do item frágil (que pode ter regras especiais de devolução) e o histórico do pedido #12345 (que confirma o frete expresso e o item específico). Cada um desses documentos pode ter dezenas de páginas. Mesmo que você consiga resumir cada um a alguns parágrafos, o total rapidamente ultrapassa dezenas de milhares de tokens.
Modelos de fronteira hoje anunciam janelas de 128k, 200k, até 1 milhão de tokens. Mas a realidade prática é outra. Estudos mostram que a capacidade de recuperar informação cai conforme o contexto cresce, mesmo dentro da janela nominal, e é isso que faz um modelo perder o fio da conversa muito antes de encher a janela. Um modelo pode "ver" 128k tokens, mas a partir de um certo ponto, a informação que está no meio ou no fim do contexto simplesmente não é usada com confiabilidade. A janela útil é sempre menor do que a anunciada, e para um agente que precisa de precisão, o limite real é muito mais apertado do que parece.
O que é engenharia de contexto?
Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens. Não é sobre escrever prompts melhores, embora isso faça parte. É sobre tratar a janela de contexto como um orçamento finito e alocar cada token com base no retorno esperado para a tarefa.
Engenharia de contexto é a disciplina de decidir o que entra, o que fica de fora e em que ordem, dentro de um limite rígido de tokens.
Pense no agente de suporte. Você tem, digamos, 8.000 tokens úteis de janela. O contrato de frete sozinho tem 3.000. A política de troca tem 2.500. O manual do item frágil tem 1.500. O histórico do pedido tem 500. Some os quatro: 7.500 tokens, ainda dentro do limite. Mas se você também precisar incluir o prompt do sistema (500 tokens), a descrição do contexto da conversa (300 tokens) e a pergunta do usuário (100 tokens), o total sobe para 8.400. Você já estourou. E isso sem considerar que, se o agente precisar fazer uma chamada de ferramenta (como consultar um sistema de estoque), o resultado da chamada também precisa entrar no contexto. A conta fecha rápido, e fecha mal.
Por que similaridade semântica não resolve engenharia de contexto?
A abordagem mais comum para montar o contexto é usar RAG (Retrieval-Augmented Generation): dividir os documentos em pedaços (chunks), gerar um embedding (um vetor de números que representa o significado) para cada um, e na hora da pergunta recuperar os k chunks mais similares à pergunta por similaridade de cosseno (a medida do ângulo entre dois vetores). É o que a maioria das bibliotecas e tutoriais ensina.
O problema é que similaridade semântica não é a mesma coisa que relevância para a tarefa. Um chunk sobre "política de troca para itens frágeis" pode ter alta similaridade com a pergunta do agente, mas se o chunk que você recuperou é um parágrafo genérico sobre trocas em geral, e não a seção específica que trata de itens frágeis com frete expresso, ele não resolve. Pior: ele ocupa espaço que poderia ser usado por um chunk menos similar, mas mais informativo para aquela pergunta exata.
A literatura documenta esse fenômeno de forma ampla. Recuperar por similaridade de embedding tende a favorecer chunks que são genericamente sobre o tema, mas que não contêm o fato específico que a pergunta exige. Para o agente de suporte, isso significa que ele pode receber três chunks sobre política de troca, todos parecidos, e nenhum que mencione a regra especial para itens frágeis com frete expresso. O contexto fica cheio de informação redundante e vazio da informação crítica.
Qual o custo de oportunidade na engenharia de contexto?
Aqui está a consequência mais negligenciada da janela limitada: cada token que você coloca no contexto é um token que você tira de outro lugar. Isso é o custo de oportunidade do contexto. Se você gasta 2.000 tokens com chunks redundantes sobre política de troca, você perdeu a chance de incluir o manual do item frágil ou o histórico detalhado do pedido.
Para o agente de suporte, a decisão não é "quais chunks são relevantes?". É "dado que só posso colocar X tokens, qual combinação de chunks maximiza a chance de o modelo responder corretamente?". Isso é um problema de otimização combinatória, não de busca por similaridade. E a maioria dos sistemas de RAG trata como se fosse o segundo.
O custo de oportunidade também se aplica ao prompt do sistema. Quanto mais instruções genéricas você coloca no prompt, menos espaço sobra para os fatos do domínio. Um prompt de sistema inchado, com regras de formato, exemplos de saída e avisos de segurança, pode consumir dezenas de porcento da janela útil antes mesmo de o agente começar a trabalhar. Cada token de instrução genérica compete diretamente com um token de informação específica sobre o pedido #12345.
Como a engenharia de contexto lida com a degradação posicional?
LLMs não tratam todos os tokens do contexto de forma igual. A arquitetura de atenção tem um viés posicional bem documentado: tokens no início e no fim do contexto recebem mais atenção do que tokens no meio. Esse fenômeno, chamado de degradação posicional ou "lost in the middle", significa que a posição de um chunk no contexto pode determinar se ele será usado ou ignorado.
O formato dessa curva é bem estabelecido na literatura: a precisão é alta quando o fato está nas primeiras posições, cai no miolo e sobe de novo perto do fim. O mecanismo exato ainda é objeto de pesquisa, mas dois fatores estruturais ajudam a explicar o desenho. O primeiro é a atenção causal: cada token só enxerga os que vieram antes dele, então o que está no começo participa de todas as posições seguintes e acumula influência ao longo da sequência. O segundo é a codificação posicional, que na maioria dos modelos faz o peso da atenção decair com a distância, o que favorece o que está mais perto da pergunta, no fim. Soma a isso o fato de que, nos dados de treino, o começo e o fim de um documento costumam concentrar o que importa, e você tem um modelo que aprendeu a olhar para as pontas.
Para o agente de suporte, isso tem uma implicação direta. Se você coloca o contrato de frete no início (porque é o primeiro que veio da busca) e a política de troca no fim (porque veio depois), o manual do item frágil, que está no meio, pode simplesmente não ser lido pelo modelo. A informação crítica sobre como embalar o item para devolução, que está no manual, fica invisível não por ser irrelevante, mas por estar na posição errada.
A solução não é simplesmente colocar tudo no início ou no fim. É entender que a ordem é uma decisão de design, não um acidente da ordem de recuperação. O harness precisa posicionar os chunks de forma que os mais críticos para a pergunta estejam nas posições de maior atenção, e os menos críticos (ou redundantes) fiquem nas posições de menor atenção, ou simplesmente não entrem.
Como a engenharia de contexto evita a diluição de atenção?
A degradação posicional não é o único problema. Há um efeito mais sutil, que a gente chama de diluição de atenção. Quando muitos tokens no contexto são semanticamente similares entre si, a atenção do modelo se espalha por todos eles, e o sinal específico que você precisa se perde no ruído.
O mecanismo é direto. A atenção softmax normaliza os pesos de forma que a soma total seja 1. Se você tem 10 tokens diferentes sobre o mesmo tópico, e cada um recebe um score similar, o peso de cada um será cerca de 0,1. Se você tivesse apenas 2 tokens, o peso de cada um seria cerca de 0,5. Quanto mais tokens similares, mais o "orçamento" de atenção se divide, e menos sinal cada token individual carrega para o modelo. O modelo acaba tendo uma visão borrada do tópico, em vez de uma visão nítida da informação específica que importa.
Volte ao agente de suporte. Suponha que você recuperou cinco chunks sobre política de troca, todos dizendo coisas ligeiramente diferentes sobre o mesmo tema. O modelo precisa encontrar a regra exata para itens frágeis com frete expresso. Mas, como há quatro outros chunks sobre troca no contexto, a atenção se distribui entre eles. O chunk que contém a regra específica recebe apenas uma fração da atenção total, e o modelo pode acabar respondendo com a regra genérica, que está em três dos cinco chunks, em vez da específica, que está em um.
Mais contexto não é melhor contexto. Contexto denso, com pouca redundância e alta especificidade, é o que funciona.
A diluição de atenção é um argumento forte contra a prática de "encher o contexto de tudo que pode ser relevante". Mais contexto não é melhor contexto. Contexto denso, com pouca redundância e alta especificidade, é o que funciona. O harness precisa não só selecionar os chunks certos, mas também garantir que eles não sejam tantos e tão parecidos que o sinal se perca.
Por que a engenharia de contexto é responsabilidade do harness?
É tentador jogar esses problemas para o modelo: "o modelo tem uma janela grande, ele que se vire". Mas isso ignora que o modelo não tem como saber, sozinho, qual chunk é o mais importante para aquela pergunta específica. Ele vê todos os tokens que você deu a ele, e tenta o melhor que pode. Se o contexto está mal montado, a resposta será ruim, e o modelo não tem como te avisar que o problema é o contexto, não ele.
Engenharia de contexto é responsabilidade do harness, a camada de infraestrutura que embrulha o modelo. O harness decide quais fontes consultar, como chunkear os documentos, como ranquear os chunks por relevância real (não só similaridade), como posicioná-los no contexto e como comprimir ou resumir quando o orçamento de tokens aperta. O modelo executa a tarefa; o harness garante que ele tenha os dados certos, na ordem certa, na quantidade certa.
Para o agente de suporte, o harness precisa implementar uma lógica de seleção que entenda que "política de troca para itens frágeis com frete expresso" não é a mesma coisa que "política de troca genérica". Precisa saber que o manual do item frágil, mesmo sendo menos similar à pergunta no espaço de embeddings, é mais informativo do que um terceiro chunk sobre troca. E precisa posicionar o chunk crítico no início ou no fim do contexto, não no meio. Tudo isso é engenharia de contexto, e tudo isso é trabalho do harness.
Como a Pumpkin aplica engenharia de contexto no harness?
A engenharia de contexto é uma das competências centrais do harness que a gente constrói na Pumpkin. A maioria dos times monta o contexto com RAG ingênuo, descobre que o agente erra e culpa o modelo. O trabalho que a gente faz começa justamente aí: tratar o contexto como a variável a ser depurada, e não como um detalhe que se resolve trocando de modelo.
Na prática, isso é menos uma técnica e mais um conjunto de decisões que precisam ser tomadas por documento, por domínio e por pergunta. O que conta como um chunk útil num contrato de frete não é o que conta num manual técnico, e a ordem que funciona para uma pergunta factual não é a que funciona para uma comparação. Não existe configuração universal aqui, e é por isso que a engenharia de contexto é trabalho de engenharia contínua, não um parâmetro que se ajusta uma vez e se esquece.
A lição que fica é que o contexto é a parte frágil do sistema, não o modelo. Um agente que erra raramente erra por falta de inteligência; ele erra porque nunca viu, ou viu na posição errada, o dado que decidiria a resposta.
O que é engenharia de contexto?
Por que a engenharia de contexto é importante para agentes de IA?
Como a engenharia de contexto difere do RAG tradicional?
O que é custo de oportunidade na engenharia de contexto?
O que é degradação posicional ou lost in the middle?
O que é diluição de atenção na engenharia de contexto?
Por que a engenharia de contexto é responsabilidade do harness?
Por que aumentar a janela de contexto não substitui a engenharia de contexto?
- Liu, N. F. et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172, 2023.
- Lewis, P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020.
- Karpukhin, V. et al. Dense Passage Retrieval for Open-Domain Question Answering. EMNLP, 2020.