Confiabilidade de agentes de IA não é problema de modelo
Um agente de IA que erra um reembolso não erra por não saber o valor certo. Ele erra porque o sistema em volta dele permite que ele chame a ferramenta de reembolso duas vezes, ou que tome uma decisão com informação desatualizada, ou que siga em frente depois de um erro sem chance de corrigir. Este post mostra que a confiabilidade de agentes de IA não é um problema de inteligência do modelo, é um problema de controle sobre o espaço de ações, de restrições determinísticas no lugar de prompts vagos, de rollback contra erros acumulados e de observação completa do estado do mundo. E que a solução não está em trocar o modelo, está em construir o harness certo em volta dele.
Um cliente pede reembolso de um produto. O agente de suporte consulta o sistema, aprova e dispara a transação. Depois, por um motivo qualquer, um timeout, um refresh de tela, uma confusão de contexto, ele dispara o reembolso de novo. O cliente recebe o dinheiro em dobro. O agente não errou por não saber o valor do reembolso. Ele errou porque o sistema permitiu que ele executasse a mesma ação duas vezes.
Esse é o padrão que a gente vê em produção quando times jogam um modelo de linguagem num fluxo de trabalho real sem embrulhá-lo em estrutura. O modelo, sozinho, é um gerador de texto com um entendimento estatístico do mundo. Ele sabe, em tese, que não se deve reembolsar duas vezes. Mas o sistema não o impede, e a "vontade" do modelo não é uma barreira confiável. A falha não está no que o modelo sabe. Está no que o sistema deixa ele fazer.
O mercado trata a confiabilidade de agentes de IA como um problema de modelo: "se o modelo fosse maior ou melhor fine-tuned, ele não erraria". Essa visão confunde sintoma com causa. O modelo pode ser o mais inteligente do mundo e ainda assim falhar se o harness que o cerca, a camada de controle, observação e restrição, for frágil. A inteligência resolve ambiguidade, não resolve sistemas que deixam o agente agir sem amarras. Este post abre os quatro modos de falha de sistema que derrubam agentes em produção, e mostra que a solução está em restringir, não em aumentar.
Por que a confiabilidade de agentes de IA não é um problema de inteligência?
Volte ao exemplo do reembolso. O agente precisa de três passos: consultar o saldo do cliente, verificar se o pedido é elegível e disparar o reembolso. Cada passo é uma chamada a uma ferramenta (API, banco, sistema interno). O modelo, por si só, não tem memória de estado entre chamadas: ele vê o histórico textual do que já foi dito, mas não tem um registro confiável de que a transação foi concluída. Se a interface permite que ele invoque a ferramenta de reembolso de novo, porque o prompt diz "chame a ferramenta se necessário" sem um bloqueio explícito, ele pode chamar de novo.
A raiz do problema está no fato de que a saída do modelo é condicionada apenas ao histórico textual, e não a um estado de sistema atualizado. O modelo não "sabe" se a transação foi concluída; ele apenas infere a partir do texto. Se a confirmação do primeiro reembolso não aparecer no contexto imediato (por exemplo, se a resposta da API não foi incluída ou foi truncada), o modelo tende a repetir a ação que considera mais provável, a de chamar a ferramenta de reembolso novamente. É um viés probabilístico, não uma escolha intencional.
A literatura de sistemas de agentes documenta esse padrão como um dos principais modos de falha. O modelo não é burro; ele é um gerador de texto que, na ausência de restrições externas, tende a seguir o caminho mais provável dado o histórico. Se o histórico tem uma ambiguidade (a confirmação do primeiro reembolso ficou perdida num parágrafo anterior), o modelo pode interpretar que ainda não foi feito.
O problema não é falta de inteligência; é falta de controle sobre o espaço de ações que o agente pode tomar a cada passo.
Quais problemas de sistema mais afetam a confiabilidade de agentes de IA?
Quando a gente isola as falhas de agentes em produção, elas se agrupam em quatro categorias, todas de sistema, nenhuma de inteligência. O espaço de ação ilimitado: o agente pode invocar qualquer ferramenta a qualquer momento, mesmo quando não faz sentido. As restrições fracas: as únicas barreiras são prompts que dizem "não faça X", e o modelo obedece só estatisticamente. A ausência de rollback: erros cometidos em passos intermediários se acumulam e o fluxo segue em frente sem chance de correção. E as lacunas de observação: o agente toma decisões com informação desatualizada ou incompleta porque não vê o estado real do mundo entre chamadas.
Cada um desses problemas tem uma causa estrutural e uma solução estrutural. Nenhum se resolve com um prompt melhor ou com fine-tuning. E todos eles aparecem no exemplo do reembolso, como a gente vai ver a seguir.
Como o espaço de ação ilimitado compromete a confiabilidade de agentes de IA?
No agente de reembolso, um design ingênuo deixa todas as ferramentas disponíveis em todos os passos da conversa. Nada impede o modelo de disparar o reembolso antes de aprová-lo, ou de dispará-lo duas vezes porque o contexto ainda mostra o pedido como "pendente", já que a confirmação da primeira ação ainda não chegou.
O mecanismo interno que leva à duplicação é a forma como o modelo gera o próximo token. A decisão de chamar uma ferramenta é uma questão de probabilidade: o modelo atribui uma probabilidade ao token que representa o nome da função. Se o contexto não contém uma indicação clara de que a ação já foi executada (por exemplo, a resposta de sucesso não está no contexto porque a chamada anterior não retornou a tempo), a distribuição de probabilidade para o próximo token pode novamente favorecer "dispararReembolso". O modelo não "lembra" da ação passada; ele apenas responde ao que está no contexto. Por isso, a simples instrução no prompt é insuficiente.
A solução não está no modelo, está na camada em volta dele: um harness que decide, a cada passo, quais ações fazem sentido para o estado atual, em vez de confiar que o modelo se contenha. Uma ação que já foi concluída simplesmente deixa de ser uma opção. O modelo não precisa "lembrar" de não repetir, repetir deixa de estar à disposição. Isso é controle determinístico, não persuasão.
Por que restrições fracas no prompt prejudicam a confiabilidade de agentes de IA?
O reflexo de todo time que constrói um agente é escrever um prompt mais longo quando algo dá errado. "Lembre-se de não chamar a ferramenta de reembolso se já tiver chamado antes." Isso é uma restrição fraca: ela depende da obediência do modelo, que é estatística, não determinística. Num milhão de execuções, ela vai falhar algumas centenas de vezes. E cada falha pode custar dinheiro real.
O prompt é processado como parte do contexto, e seu efeito é um viés probabilístico. A frase "não chame a ferramenta duas vezes" altera a distribuição de saída, mas não a torna determinística. Em contraste, uma restrição dura implementada no harness remove completamente a opção daquele token do espaço de ações. É a diferença entre pedir para não fazer algo e tornar impossível fazer algo. O modelo não pode gerar o token daquela função porque ele não está no vocabulário de ações disponíveis naquele estado.
Restrição dura é o oposto: uma regra que vive na camada de sistema, fora do modelo. A garantia deixa de ser "peça ao modelo para não repetir a ação" e passa a ser "a ação não está disponível para ser repetida". O modelo simplesmente não tem como chamá-la de novo. Não importa o que o prompt diga; a restrição está na camada de sistema, não na camada de texto.
A diferença entre restrição fraca e restrição dura é a diferença entre um aviso e uma cerca. O aviso funciona na maioria das vezes, mas a cerca funciona sempre. E num agente que lida com transações financeiras, dados pessoais ou decisões que afetam clientes, "na maioria das vezes" não é suficiente. O harness engineering é justamente a prática de substituir restrições fracas (prompts, instruções) por restrições duras (máquinas de estado, validação de saída, autorização por passo).
Como a ausência de rollback afeta a confiabilidade de agentes de IA?
O agente de reembolso consulta o cliente, descobre que ele tem saldo suficiente, aprova o reembolso e dispara. Só que a consulta de saldo estava desatualizada, o cliente já tinha usado aquele crédito em outro lugar. O agente não tem como desfazer o que fez. O reembolso foi disparado, o dinheiro saiu, e a correção precisa ser manual.
O problema estrutural é que cada ação altera o estado do mundo real (o saldo do cliente, o status do pedido), mas o agente não mantém uma trilha de auditoria acessível para correção. Sem checkpoints, o sistema não tem como reverter para um estado anterior. O harness pode implementar uma máquina de estados que, ao detectar uma inconsistência (por exemplo, após a ação, o estado observado não condiz com o esperado), ativa um procedimento de rollback: desfaz a ação chamando uma API de estorno ou pausa para intervenção humana. Isso é possível porque o harness tem acesso ao estado externo e a uma especificação do fluxo esperado.
A solução é introduzir checkpoints no fluxo do agente. Antes de executar uma ação irreversível (disparar reembolso), o harness pode exigir uma confirmação explícita, ou pode fazer uma verificação dupla do estado atual. Se a verificação falhar (saldo não confere), o fluxo é interrompido e o agente é redirecionado para um passo de correção. O rollback não precisa ser automático; pode ser um "pausa e pergunta ao supervisor humano". O importante é que o sistema, e não o modelo, tenha o poder de parar uma execução defeituosa antes que ela produza dano.
Como lacunas de observação reduzem a confiabilidade de agentes de IA?
O agente de reembolso funciona por chamadas de API. Ele pergunta ao sistema de pedidos: "qual o status do pedido 12345?" O sistema responde: "pendente". Ele então aprova e dispara o reembolso. Só que entre a consulta e o disparo, outro processo pode ter alterado o status do pedido, um cancelamento, um reembolso anterior, uma atualização manual. O agente agiu com informação velha.
Lacunas de observação acontecem porque o agente não mantém um estado sincronizado. Cada observação é um retrato do estado real no instante da chamada, e o risco cresce com o tempo entre observar e agir. Se o agente leva alguns instantes para processar a resposta e decidir, o mundo pode ter mudado no meio do caminho, e ele acaba agindo sobre uma foto velha.
A solução vem da camada de sistema, e o nome dela é observação fresca: antes de qualquer ação irreversível, o harness confere de novo o estado real do mundo, em vez de confiar no que viu alguns passos atrás. Para isso ele mantém a sua própria leitura do estado, apoiada em técnicas como grafos de conhecimento, e reconhece quando a realidade se moveu para barrar a ação antes que ela aconteça. A garantia não vem de o modelo "lembrar" de verificar, vem de a verificação ser parte do fluxo.
Por que a variação do ambiente é o maior desafio para a confiabilidade de agentes de IA?
Quando se discute confiabilidade de LLMs, o primeiro instinto é culpar a temperatura. "O modelo está muito criativo", "diminui a temperatura para 0". Isso é um equívoco. A temperatura controla a aleatoriedade da amostragem da próxima palavra, mas, nos agentes, a maior fonte de variação não é o modelo, é o ambiente. A latência de uma API pode variar em segundos; o estado de um banco de dados pode mudar entre duas chamadas; um outro serviço pode estar fora do ar; um dado pode vir mal formatado. Tudo isso é variação real, não variação do modelo.
O efeito da latência sobre a inferência é sutil. Quando uma chamada de API demora, o modelo pode receber um timeout ou uma resposta vazia. No nível do token, isso pode fazer com que o modelo produza um token de ação especulativa, como 'chamar novamente a função', porque o contexto não contém a resposta esperada. O harness pode lidar com isso usando timeouts explícitos e retries, e registrando que a primeira chamada foi feita, para que o modelo não tente repetir.
O ciclo de confundir variação ambiental com variação do modelo leva a um loop de debugging errado: afinar prompt, reduzir temperatura, trocar modelo. Nenhum desses passos resolve o problema de uma API lenta ou de um estado concorrente. A confiabilidade real vem de tratar o ambiente como a fonte principal de variação e construir o harness para absorvê-la: timeouts, retries, idempotência, filas, checkpoints. O modelo é só mais uma peça do sistema, e não a mais frágil.
Como construir confiabilidade de agentes de IA com restrições de sistema?
Juntando os quatro modos de falha, um padrão emerge: a confiabilidade de um agente é função direta da qualidade das restrições que o harness impõe, e não da capacidade do modelo de seguir instruções. O modelo pode ser o melhor do mundo, mas se o espaço de ação for aberto, se as restrições forem fracas, se não houver rollback e se a observação for cega, ele vai falhar. E vai falhar de formas que um prompt melhor não conserta.
A confiabilidade de um agente é função direta da qualidade das restrições que o harness impõe, e não da capacidade do modelo de seguir instruções.
Isso inverte a hierarquia de investimento que a maioria dos times adota. Em vez de gastar 90% do orçamento em fine-tuning e 10% em engenharia de sistema, o caminho mais eficaz é o oposto. Construir um harness que restrinja o espaço de ação (só as ferramentas certas no momento certo), imponha restrições duras (bloqueios determinísticos), permita rollback (checkpoints e reversão) e garanta observação fresca (re-consulta antes de ações irreversíveis). Depois que essa base está sólida, o modelo pode ser trocado, de pequeno para grande, de barato para caro, e o sistema continua confiável.
No agente de reembolso com um harness bem construído, o modelo faz só a parte cognitiva, decidir se o reembolso deve ser aprovado, enquanto o sistema cuida de tudo o que precisa ser garantido: só oferece as ações válidas para aquele momento, confere que o mundo não mudou antes de agir, executa a ação uma única vez e para para pedir ajuda humana quando algo não bate. A inteligência decidiu; o controle garantiu.
Onde a Pumpkin entra
A Pumpkin constrói harness engineering para agentes. O que este post descreveu, espaço de ação controlado, restrições duras, rollback, observação fresca, é exatamente o que a gente implementa para cada cliente. O harness não é um prompt mais longo, é uma camada de sistema que cerca o modelo determinístico por todos os lados. A gente começa mapeando o fluxo real da tarefa (no exemplo, o reembolso), identifica onde o modelo pode fazer algo que o sistema não deveria permitir, e coloca as travas nos lugares certos. O resultado é um agente que usa o modelo para o que ele faz de melhor, entender linguagem e tomar decisões qualitativas, e deixa o controle do fluxo para a camada de sistema.
A lição que atravessa os quatro modos de falha é que a confiabilidade de um agente vem da estrutura que o cerca, não do tamanho do modelo. A inteligência resolve ambiguidade; o controle resolve sistemas. E controle se constrói com restrições, não com prompts.