O que é Harness Engineering?

O modelo parou de ser o gargalo há um bom tempo. O que separa um protótipo frágil de um sistema que aguenta produção é o runtime em volta do modelo — o harness. Um experimento de Princeton em 2024 fixou o modelo, mexeu só na camada em volta, e mais que triplicou o desempenho. O princípio é mais velho que a computação: quando o operador repete o erro, a variável é o ambiente, não o operador. A Pumpkin Labs é uma empresa de harness engineering, e o nosso harness tem um knowledge graph no centro.
O modelo não é a parte difícil. Não é há um bom tempo.
A indústria passou três anos tratando a capacidade do modelo como o gargalo de tudo. Se o agente errava, a resposta era esperar o próximo modelo, maior e mais esperto. E os modelos entregaram: menos erro, contexto maior, raciocínio melhor a cada release. Mas quem tentou colocar um agente em produção descobriu que o gargalo estava em outro lugar. O demo roda. A apresentação para o cliente roda. E aí, seis semanas depois, em produção, o agente começa a errar de um jeito que ninguém consegue reproduzir no ambiente de desenvolvimento.
O modelo é a parte fácil
O caso mais comum é também o mais revelador. Você pergunta ao agente sobre o seu catálogo, a sua política de trocas, o pedido de um cliente específico. Informação que o modelo nunca viu, porque é sua, é proprietária, não estava em lugar nenhum da internet que treinou os pesos. O modelo responde mesmo assim, no formato certo, com a mesma confiança da resposta anterior. Só que dessa vez a resposta é inventada. O modelo continua o mesmo de sempre. O que faltava nunca esteve dentro dele, e nenhum modelo maior vai resolver, porque o problema não é capacidade. É a ausência da sua realidade nos pesos.
Foi para resolver exatamente esse tipo de coisa que engenheiros começaram a construir uma camada em volta do modelo, e essa camada acabou virando uma disciplina própria. Esse código que roda em torno do modelo a cada chamada — o runtime — é o que envolve o modelo de linguagem e transforma a saída de texto cru em comportamento confiável de sistema. Ele tem nome: harness. E a prática de projetar, construir e operar esse runtime é o harness engineering. Tem cerca de doze meses como termo nomeado e cerca de três anos como prática real. É o que separa um protótipo frágil de um sistema que aguenta produção, e tem uma data de nascimento documentada.
A pesquisa que mudou o jogo
Em maio de 2024, uma equipe de Princeton resolveu testar uma ideia que, na época, parecia quase um erro de raciocínio. Yang, Jimenez, Wettig, Lieret, Yao, Narasimhan e Press publicaram o paper SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering, depois apresentado na NeurIPS 2024.
A ideia era simples: e se a gente fixar o modelo e mexer só no que está em volta? Eles fixaram o GPT-4 Turbo, sem fine-tuning, sem troca de prompt, e construíram uma camada entre o modelo e o código, que chamaram de Agent-Computer Interface. Toda a engenharia foi nessa camada. A interface limitava resultados de busca a cinquenta itens, mostrava o arquivo em blocos de cem linhas e lembrava a posição entre uma chamada e outra, rodava um linter que rejeitava patches sintaticamente quebrados antes de aplicá-los, e comprimia observações antigas conforme a sessão crescia. Mesmo modelo, mesmos pesos, mesmo benchmark.
O resultado é o que dá nome a este artigo. O desempenho no SWE-bench subiu de 3,8%, o melhor número até então, para 12,47%. Mais que o triplo, e nada disso veio do modelo. Veio inteiramente do design da camada em volta. A pesquisa de agentes assumia, até ali, que agente melhor exigia modelo melhor. O experimento mostrou que agente melhor podia vir de interface melhor, mesmo o modelo em si continuando igual.
Mesmo modelo, mesmos pesos, mesmo benchmark. Só a camada em volta mudou, e o desempenho mais que triplicou, de 3,8% para 12,47%. É o resultado que define a disciplina: a engenharia que rende não está dentro do modelo, está na estrutura em torno dele.
Uma lição que vem de 1947
O mais interessante é que os pesquisadores não inventaram esse princípio. Eles o nomearam, e a origem é bem mais antiga que a computação. Para encontrar a raiz da ideia, é preciso voltar a uma pista de pouso pós-guerra.
Em 1947, Paul Fitts e Richard Jones publicaram um estudo encomendado pelo laboratório aeromédico da força aérea americana, depois de uma onda de acidentes que vinham sendo classificados como erro de piloto. Em vez de aceitar essa explicação, os dois foram entrevistar os pilotos e olhar as cabines de perto. O que encontraram foi outra coisa. Os mesmos controles ficavam em posições diferentes de avião para avião, alavancas visualmente idênticas executavam funções completamente distintas, e pilotos experientes, sob pressão, puxavam de forma confiável o controle errado. O ambiente tinha sido projetado sem nenhuma consideração por como humanos de fato se comportam. A conclusão dos dois revolucionou o campo: em vez de treinar operadores melhores, era preciso redesenhar o ambiente.
Esse princípio atravessou oito décadas, do design de objetos do cotidiano até a literatura de checklists cirúrgicos. E ele vale toda vez que foi testado: quando o operador repete o mesmo erro, a variável que importa é o ambiente, não o operador. O que a equipe de Princeton fez, em 2024, foi sentar o modelo de linguagem na cadeira do piloto e aplicar a mesma lógica. A interface deles é um redesenho de cabine para um agente.
O que o harness realmente faz
Com o experimento e a sua linhagem na mesa, dá para definir a disciplina sem abstração. Harness engineering trata o runtime em volta do modelo como artefato de engenharia de primeira classe, do mesmo jeito que SRE, Site Reliability Engineering, trata a infraestrutura de produção como código.
Na prática, o harness faz seis coisas que o modelo não consegue fazer sozinho:
- Decide o que o modelo vê em cada chamada.
- Define o que o modelo tem permissão de fazer, com contratos de ferramenta e validadores.
- Lembra o que aconteceu entre uma chamada e outra, com memória e estado durável.
- Observa o que o modelo produziu, com detecção de drift e portões de avaliação.
- Recupera quando algo deu errado, com rollback, retry e replay.
- Coordena quando há vários modelos ou agentes envolvidos.
As duas primeiras funções já dizem onde mora boa parte do problema dos dados proprietários. Decidir o que o modelo vê é grounding: forçar a resposta a sair de uma fonte verificável, e não dos pesos. Definir o que o modelo pode fazer é guardrail: dar ao agente uma saída para recusar em vez de inventar. É nesse território que a maioria dos agentes de produção vive ou morre.
Vale fixar o que o harness não é, porque é aqui que quase todo mundo tropeça na primeira vez. Não é uma rede de proteção em volta do modelo, no sentido de capturar a falha depois que ela acontece. Não é um guardrail só para impedir o modelo de dizer algo constrangedor. O harness é o que permite o modelo fazer um trabalho que ele não faria sozinho: maior, mais longo, mais autônomo. É a diferença entre uma cabine que evita a queda e uma cabine que deixa o piloto voar uma missão que antes seria impossível.
Por que o nome pegou agora
A prática é mais velha que o nome, mas o nome se firmou nos últimos doze meses, e isso não foi coincidência. Quatro forças convergiram em cima da fundação que o SWE-agent deixou.
Primeiro, a terminologia se firmou. A Anthropic vinha usando "harness" como termo técnico na própria escrita de engenharia ao longo de 2025, antes do resto da indústria pegar a palavra. Em fevereiro de 2026, Mitchell Hashimoto, cofundador da HashiCorp, usou "harness engineering" para nomear a prática de corrigir erro de agente melhorando o harness em vez do prompt, e foi aí que virou nome de disciplina. Poucos dias depois, a OpenAI publicou uma definição formal, descrevendo seu principal desafio de engenharia não como capacidade do modelo, mas como o design dos ambientes, loops de feedback e sistemas de controle em volta dele. De repente, dois dos três grandes laboratórios falavam a mesma língua em público.
Em paralelo, os frameworks amadureceram. As SDKs de agente das principais empresas chegaram a disponibilidade geral nos últimos meses, e a pilha de protocolos abertos por baixo delas estabilizou no mesmo período, com adoção por centenas de organizações. Construir sobre essas peças deixou de ser aposta e virou base confiável.
E o relógio regulatório chegou no mesmo calendário. Prazos de fiscalização entraram em vigor em 2026, frameworks de gestão de risco viraram padrão de fato para fornecedores, e os times de compliance começaram a pedir aos times de engenharia exatamente a auditabilidade que um harness oferece. Nomeação, frameworks, protocolos e regulação chegaram quase juntos, em cima de uma linhagem de design de anos. Foi essa convergência que fez "harness engineering" colar onde "agent loop" nunca tinha colado.
Por que similaridade não basta
Estabelecido que o trabalho mora no harness, sobra a pergunta de como construir um que funcione em domínio proprietário. A resposta mais comum hoje é colar trechos de uma base externa no prompt, recuperados por similaridade vetorial. Funciona em pergunta simples sobre base limpa. Falha quando os fatos têm relação tipada entre si.
E quase todo domínio real tem. Um catálogo tem categoria e subcategoria. Uma política tem regra, exceção e hierarquia. Um plano tem o que cobre e o que não cobre. Similaridade traz texto que parece com a pergunta, não o fato ligado pela relação certa. O agente recebe trechos soltos, tenta costurar a relação por conta própria, e cita com convicção um fato que veio do trecho errado. Alucinação com citação é pior que alucinação sem, porque parece confiável.
Onde a Pumpkin entra
A Pumpkin Labs é uma empresa de harness engineering, e o harness que construímos tem um knowledge graph no centro, justamente para resolver esse problema da relação tipada.
Em vez de tratar os dados da empresa como uma pilha de texto para recuperar por proximidade, nós os mapeamos como grafo, com as relações que de fato existem no domínio: categoria, hierarquia, exceção, regra. E não paramos nos dados da empresa. Mapeamos também o setor em que ela vive. Para uma empresa de moda, modelamos a indústria da moda em volta dela, o que torna possível fazer intention mapping: ligar o que o usuário pede ao que ele de fato quer, dentro da estrutura real do domínio, e não de uma média da internet.
Em cima desse grafo roda um Graph RAG, que navega a estrutura em vez de medir distância vetorial — é assim que a gente decide o que o modelo vê a cada chamada, a primeira das seis funções. E por baixo de tudo opera um framework de guardrails sólido, que define o que o agente pode e não pode fazer e o ensina a recusar em vez de inventar quando a pergunta sai do escopo, a segunda função.
O grafo e os guardrails são o centro, não o harness inteiro. Em volta deles a gente constrói as outras quatro funções, porque um sistema que aguenta produção precisa das seis. O agente lembra o que aconteceu entre uma chamada e outra, com memória e estado durável ancorados no mesmo grafo. A gente observa o que ele produz, com detecção de drift e portões de avaliação que pegam a resposta ruim antes do usuário. Quando algo dá errado, o harness recupera, com rollback, retry e replay, em vez de quebrar no meio da tarefa. E quando há vários agentes ou modelos no mesmo fluxo, é o harness que coordena quem faz o quê e em que ordem. São as seis funções, todas construídas em torno do modelo, não dentro dele.
No fim, é a mesma lição que Fitts e Jones tiraram em 1947 e que a equipe de Princeton aplicou ao modelo de linguagem em 2024. Quando o agente erra sobre os seus dados, a variável não é o modelo. É o ambiente em volta dele. E o ambiente é exatamente o que a Pumpkin constrói.
O que é harness engineering?
Um modelo maior resolve alucinação sobre dados proprietários?
Qual a diferença entre harness e guardrail?
O que o paper SWE-agent provou?
Por que RAG por similaridade vetorial não basta?
De onde vem a ideia do harness?
O que a Pumpkin Labs constrói?
- Yang, Jimenez, Wettig, Lieret, Yao, Narasimhan, Press. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. NeurIPS 2024; arXiv 2405.15793.
- Fitts e Jones. Analysis of Factors Contributing to 460 Pilot Error Experiences in Operating Aircraft Controls. USAF Aero Medical Laboratory, 1947.
- Anthropic. Effective Context Engineering for AI Agents, setembro de 2025; Effective Harnesses for Long-Running Agents, novembro de 2025; Harness Design for Long-Running Application Development, março de 2026.
- LangChain. Anatomy of an Agent Harness, 2026.
- Mitchell Hashimoto. Blog pessoal, fevereiro de 2026.
- OpenAI. Building a million-line production codebase with Codex agents, 11 de fevereiro de 2026.
- Spillwave. What Is Harness Engineering: The Engineering Discipline for Production AI Agents. pub.spillwave.com.