O que é in-context learning? Como um modelo aprende sem treinar

Você cola alguns exemplos no prompt e o modelo passa a executar uma tarefa que ninguém treinou nele, sem ajustar um único peso. Isso é in-context learning, e o "aprendizado" não mora nos pesos: mora no forward pass, na leitura do próprio prompt, e some quando a conversa acaba. O mecanismo tem nome, induction head, e é a self-attention da parte anterior reaproveitada pra achar um padrão antes no texto e continuá-lo. Tem uma pegadinha: trocar os rótulos certos dos exemplos por rótulos aleatórios quase não piora o resultado, sinal de que o modelo aprende o formato e o espaço de respostas, não o mapa de entrada pra saída. Tem ainda uma leitura mais funda, a de que ler exemplos pode ser, por baixo, otimizar: o prompt define uma perda e o forward pass dá os passos pra minimizá-la, coisa que dá pra escrever em conta num exemplo pequeno. Saber disso muda o que você coloca no contexto, porque o contexto é o programa.
Mostre ao modelo três frases, cada uma com um rótulo: "o atendimento foi nota dez" → positivo, "esperei quarenta minutos e ninguém respondeu" → negativo, "chegou antes do prazo" → positivo. Agora escreva uma quarta, "veio com uma peça faltando", e pare. O modelo completa: negativo.
Ninguém treinou esse classificador. Ele não existia trinta segundos atrás. E o ponto que importa: nenhum peso do modelo mudou entre a primeira frase e a resposta. O modelo que leu o seu exemplo é byte por byte o mesmo de antes. Mesmo assim, ele aprendeu a tarefa ali, na hora. A pergunta deste post é como.
O que é in-context learning
In-context learning é a capacidade de um LLM executar uma tarefa nova a partir de exemplos colocados no próprio prompt, no momento da pergunta, sem nenhum ajuste de peso. Você apresenta alguns pares de entrada e saída, faz uma nova pergunta no mesmo formato, e o modelo continua o padrão. Os exemplos que você cola têm um nome técnico, demonstrations (demonstrações), e a quantidade deles dá o apelido da técnica: zero-shot é nenhum exemplo, só a instrução; one-shot é um; few-shot são alguns, de dois a algumas dezenas.
O termo se firmou em 2020, com o paper que apresentou o GPT-3. Era um modelo de 175 bilhões de parâmetros, dez vezes maior que qualquer antecessor, e a frase que define o trabalho está no próprio resumo: as tarefas foram resolvidas "sem nenhum gradient update", especificadas apenas pelo texto da conversa. Gradient update é um passo de treino, o ajuste que move os pesos na direção de errar menos. Dizer que não houve nenhum é dizer que o modelo não foi treinado pra aquilo. Ele só leu os exemplos e seguiu.
Vale separar isso de treino de verdade, porque é a confusão mais comum. Treinar os pesos de um modelo, ou fazer fine-tuning (reajustar um modelo já pronto pra um domínio específico), muda os números que constituem o modelo: é permanente, é caro, e o que sai do outro lado é um modelo diferente. In-context learning não muda número nenhum. É a diferença entre reescrever um programa e simplesmente passar uma entrada diferente pra ele. O modelo é o mesmo; o que mudou foi o que você botou na frente dele.
Onde mora o aprendizado, e por que ele some
Se nenhum peso mudou, onde foi parar o que o modelo aprendeu? A resposta é o coração do conceito. Existem dois lugares onde o comportamento de um modelo pode mudar, e eles não se misturam.
Um é nos pesos: os bilhões de números fixos que o treino deixou pra trás. Mexer neles é treinar, e o efeito fica gravado. O outro é no forward pass: a passagem única que o modelo faz pela sua entrada toda vez que vai responder, da primeira palavra do prompt até a previsão do próximo token. Nessa passagem, cada token vira uma pilha de vetores intermediários, calculados na hora e descartados no fim. In-context learning vive aí. O modelo lê os exemplos, monta nesses vetores uma representação da tarefa que você está pedindo, e usa essa representação pra responder. Nada disso volta pros pesos. Feche a conversa e o classificador de sentimento que existia há um instante deixa de existir, porque ele nunca esteve nos pesos, só na leitura daquele prompt.
É a mesma maquinaria que a parte anterior da trilogia abriu. A self-attention faz cada palavra olhar pras outras e sair com o significado ajustado pelo contexto, ali na leitura, sem treinar nada. In-context learning é esse mesmo ajuste levado um passo adiante: se o contexto consegue reescrever o sentido de "banco" a partir de "dinheiro" três palavras antes, ele também consegue reescrever o que o modelo está fazendo a partir de três exemplos colados no início. Aprender com o contexto e entender o contexto são, mecanicamente, o mesmo gesto.
Induction heads: como o modelo continua um padrão
"Montar uma representação da tarefa" explica o resultado, não o mecanismo. E o mecanismo mais bem compreendido envolve a própria self-attention da parte anterior, reaproveitada. A peça mais bem mapeada chama-se induction head: uma cabeça de atenção que faz duas coisas em sequência. Primeiro, ela olha pra trás no texto e acha um ponto onde o token atual já apareceu antes, é o prefix matching (casamento de prefixo). Depois, ela copia o token que veio logo em seguida daquela vez, é o copying (cópia). Em forma de regra: se o texto já trouxe a sequência [A] [B] lá atrás e [A] reaparece agora, a cabeça aposta que vem [B] de novo.

Lembra de como a atenção funciona: a query de um token é a pergunta que ele faz, a key de cada outro é o rótulo que ele anuncia, e o produto entre as duas decide quem olha pra quem. Numa induction head, a query do token atual está, na prática, perguntando "onde eu apareci antes?", e ela casa com a key da posição logo após a ocorrência anterior. O value que circula é o token a ser copiado. É a mesma operação de query, key e value, especializada numa tarefa só: completar repetição.
Agora volte ao nosso prompt de sentimento. Ele é, por construção, uma repetição: frase, seta, rótulo, quebra de linha, frase, seta, rótulo, quebra de linha. Quando o modelo chega na quarta frase e bate na seta, a estrutura à frente é idêntica às três vezes anteriores. As cabeças que aprenderam a continuar padrão atendem de volta pra "o que veio depois da seta nos casos parecidos" e empurram a saída pra um rótulo, no formato dos rótulos que já viram. O few-shot é essa máquina de completar repetição operando num nível mais abstrato que copiar um nome.
O que torna isso mais do que uma curiosidade é quando essas cabeças surgem. Treinando um modelo e observando a curva de erro, a Anthropic encontrou uma transição abrupta, um phase change: num intervalo estreito do treino, as induction heads se formam, e a habilidade de in-context learning salta no mesmo instante, deixando uma marca visível na curva. Não é um ganho gradual, é uma virada de chave. E ela só acontece em modelos com mais de uma camada de atenção, porque o mecanismo exige uma cabeça compondo com outra: uma marca a posição anterior, a outra copia a partir dela.
A habilidade de aprender pelo contexto não foi programada linha a linha. Ela apareceu de uma vez, no meio do treino, quando o modelo descobriu sozinho um circuito de atenção que continua padrões. Foi nesse ponto que prever a próxima palavra virou, de quebra, aprender com exemplos.
O que o modelo realmente aprende dos exemplos
Aqui o conceito ganha um contorno que a maioria das explicações pula. A intuição diz que os exemplos ensinam o modelo a associar cada entrada à sua resposta certa. Um experimento de 2022 mostrou que não é bem isso.
Pegaram prompts few-shot e fizeram uma sabotagem controlada: trocaram os rótulos corretos das demonstrações por rótulos aleatórios. No nosso caso, seria mostrar "chegou antes do prazo → negativo" e "veio com uma peça faltando → positivo", rótulos embaralhados de propósito, e só então fazer a pergunta de verdade. A expectativa era o desempenho desabar. Ele quase não se mexeu, e o resultado se repetiu em doze modelos diferentes, incluindo o GPT-3.
A conclusão reorganiza o que "aprender" significa aqui. Se os rótulos certos quase não importam, então não é o mapa de entrada pra saída que as demonstrações ensinam. O que elas ensinam é outra coisa, em três frentes: o espaço de rótulos (que as respostas possíveis são "positivo" e "negativo", não uma nota de 0 a 10), a distribuição da entrada (o tipo de texto sobre o qual você está perguntando) e o formato (frase, seta, rótulo, uma resposta curta por linha). Os exemplos dizem ao modelo em que jogo ele está e como é uma jogada válida; a capacidade de fazer a jogada certa já estava nos pesos, vinda do pré-treino. Vale a ressalva: o efeito depende do tamanho do modelo e da tarefa, e modelos maiores conseguem, sim, aproveitar o rótulo verdadeiro em parte. Mas a direção é clara, e contraintuitiva: o rótulo certo importa muito menos do que o formato certo. Isso levanta uma pergunta natural: se o mapa de entrada pra saída importa tão pouco, de onde vem essa habilidade?
Por que essa habilidade existe
Ninguém programou in-context learning de propósito. Ele emerge do pré-treino, como efeito colateral de um objetivo muito mais simples, o mesmo que está por trás da alucinação: prever a próxima palavra, bilhões de vezes, em bilhões de documentos. Documentos reais têm estrutura. Repetem termos, mantêm consistência interna, seguem um padrão que se estabelece no começo e continua até o fim. Pra prever bem o final, ajuda enormemente identificar esse padrão e reaplicá-lo, e quanto melhor o modelo faz isso, menor o erro. É exatamente nessa direção que a loss o empurra durante o treino.
Isso explica o essencial, mas deixa um aviso: a habilidade não é garantia da arquitetura, é consequência dos dados. Pesquisas que variaram de propósito a distribuição dos dados de treino mostraram que in-context learning aparece quando essa distribuição tem certas propriedades, como muitas classes raras e exemplos que chegam em rajadas em vez de espalhados por igual. Tire essas características e a habilidade pode não emergir, mesmo com a mesma arquitetura. Ou seja, o modelo não foi treinado pra "aprender com exemplos". Ele aprendeu porque detectar e estender padrões reduz a loss.
Existe ainda uma leitura mais ousada, e é onde a pesquisa fica especulativa: a de que o forward pass sobre as demonstrações implementa algo parecido com um passo de otimização, como se o modelo construísse na hora, dentro daquela passagem, um pequeno preditor ajustado àqueles exemplos. Em cenários controlados, com atenção linear e tarefas matemáticas simples, dá pra mostrar que uma camada de atenção pode reproduzir um passo de gradient descent. É uma hipótese influente, demonstrada no pequeno e no limpo, não um fato estabelecido pra um LLM completo respondendo em linguagem. Trato como o que é: uma pista forte de que o que parece "ler exemplos" pode ser, por baixo, "otimizar rapidinho". A próxima seção pega essa pista e transforma em conta, num exemplo pequeno o bastante pra escrever cada passo à mão.
Onde a hipótese vira conta
A induction head explica o mecanismo local, continuar um padrão. Agora vem a leitura complementar, a de que esse mesmo gesto pode ser otimização disfarçada. Pra enxergar isso sem fé, troca-se linguagem por um problema numérico simples, onde cada passo pode ser escrito por extenso. O resultado vem de um caso bem específico: num regime simplificado, uma camada de atenção consegue implementar exatamente um passo de gradient descent. A frase que segura tudo é esta: o prompt define uma função de perda, e o forward pass executa a otimização.
O setup. Vamos de regressão linear, o problema mais simples que ainda tem o que otimizar:
- , a entrada
- , a saída
- , os parâmetros
- , a previsão
- , a função de perda
- , o gradiente
- , a taxa de aprendizado
O objetivo clássico seria achar o que minimiza . Aqui não vamos atualizar , e é justamente esse o ponto.
O papel do prompt. No in-context learning, o prompt traz exemplos, , e esses exemplos definem implicitamente uma função de perda: a média dos erros do modelo sobre eles. Nada foi programado, a perda emerge dos dados. Ou seja, o prompt não é só contexto, é um problema de otimização disfarçado de texto.
A virada: mexer no dado, não no peso. Um passo de gradient descent atualizaria os pesos:
Mas como a perda depende de , existe uma equivalência. Em vez de atualizar , dá pra manter fixo e ajustar os alvos:
Em vez de mover os pesos, movemos os dados. Isso é o que destrava tudo, porque uma camada de atenção não altera pesos, ela só transforma tokens.

O exemplo mínimo. Dois exemplos e uma pergunta:
Cada par vira um token, com o alvo no último slot:
O último valor do token de teste começa em zero: é o slot da resposta, o que a gente quer preencher.
Um passo de otimização. A perda implícita dos dois exemplos:
Começando em , o gradiente e o passo dão:
O mesmo passo, agora nos tokens. Aplicando aos alvos dos exemplos, vai de pra e vai de pra . E pro token de teste, cujo slot estava zerado:
O slot vazio vira , que é exatamente , a previsão do modelo depois de um passo de gradiente. A conta fechou: transformar os tokens deu o mesmo resultado que treinar o peso.
O papel da atenção. Uma camada de atenção linear consegue implementar exatamente essa transformação: ela calcula produtos internos, combina os erros e atualiza os alvos. O efeito final é idêntico a um passo de gradient descent. E empilhar camadas repete o processo: depois de camadas, o modelo implícito deu passos de gradiente, e o token de teste carrega . Profundidade vira número de iterações.
![Quatro estágios dos tokens, cada um uma coluna [entrada | alvo]. As entradas nunca mudam; o slot-alvo da pergunta sai de zero (vazio) e sobe para 2.5, depois 4, até 5 ao longo das camadas.](/images/blog/in-context-learning-slot.png)
Interpretação. Nada disso mexe nos pesos reais da rede. Os pesos codificam o algoritmo, o prompt fornece os dados, e o forward pass roda a otimização. É a saída pro paradoxo do começo do post: o modelo aprende sem mudar parâmetro nenhum porque o aprendizado acontece nas ativações, não nos pesos.
Vale dimensionar o que foi mostrado, pra não vender demais. O resultado depende de um cenário de brinquedo: atenção linear no lugar de softmax, regressão no lugar de linguagem, poucas camadas. Ele não prova que um LLM por dentro faz exatamente isso. Prova algo mais preciso, e ainda assim forte: sob certas condições, ler exemplos e otimizar um modelo são a mesma operação vista de dois ângulos. A formalização dessa equivalência é o paper de von Oswald et al. (2023), na base da lista de referências.
O que o in-context learning não faz
Entender o mecanismo deixa os limites óbvios, e eles importam mais do que a mágica. In-context learning condiciona a resposta ao que está no contexto. Tudo que ele faz é a partir do que você colocou ali.
Primeira consequência: ele não acrescenta conhecimento que o modelo não tem. Os exemplos moldam o formato e ativam um padrão; eles não buscam fatos em lugar nenhum. Se você pede o número do pedido de um cliente e esse número não está no prompt, nenhuma quantidade de exemplos o faz aparecer. O modelo completa o padrão com um número plausível e alucina com a mesma firmeza com que classificaria o sentimento. In-context learning direciona o comportamento; ele não preenche uma ausência de informação. Por isso anda colado com grounding, forçar a resposta a sair de uma fonte verificável, e não no lugar dele.
Segunda: o aprendizado não persiste. Ele vive naquele forward pass e morre com a conversa. Cada nova sessão recomeça do zero, e os exemplos precisam estar lá de novo.
Terceira: ele cabe na janela de contexto, e nem isso por inteiro. Os exemplos ocupam tokens, tokens custam, e o modelo ainda perde o fio quando o contexto fica longo demais, com a atenção se diluindo pelo meio. Encher o prompt de demonstrações tem um teto, e não é o tamanho anunciado da janela. In-context learning é uma alavanca de direção, poderosa e barata, não um jeito de injetar uma base de conhecimento inteira.
Onde a Pumpkin entra
Se o modelo aprende com o que está no contexto, então decidir o que entra no contexto deixa de ser detalhe e vira o trabalho inteiro. É a primeira das seis funções de um harness, a infraestrutura que roda em volta do modelo: decidir o que ele vê a cada chamada. A Pumpkin Labs faz essa engenharia, e o nosso harness tem um knowledge graph no centro; sobre ele roda um Graph RAG que monta, a cada pergunta, o contexto certo, os fatos ligados pela relação que importa, no formato que o modelo sabe continuar. In-context learning é o que faz esse contexto bem montado virar comportamento confiável: o grafo escolhe a evidência, e a habilidade de aprender por exemplos transforma essa evidência em resposta. O grafo é uma peça do harness, não o harness inteiro, e in-context learning é a razão pela qual essa peça funciona.
No fundo, é uma inversão do que a indústria passou anos repetindo. A pergunta deixou de ser só "que modelo eu uso" e passou a ser "o que eu coloco na frente dele". Um modelo congelado, sem treinar nada, faz uma tarefa nova porque o contexto a descreveu. Isso quer dizer que o contexto é o programa, e quem escreve o contexto programa o modelo. As próximas partes da trilogia ficam nesse mesmo gesto, agora visto de fora: como escrever esse contexto de propósito, e o que isso muda na hora de construir um sistema que aguenta produção.
O que é in-context learning?
Qual a diferença entre in-context learning e fine-tuning?
O que são few-shot, one-shot e zero-shot?
Como o in-context learning funciona por dentro?
Os exemplos do prompt precisam ter rótulos corretos?
In-context learning resolve o problema de o modelo não saber os meus dados?
De onde vem a habilidade de in-context learning?
- Brown, Mann, Ryder, Subbiah et al. Language Models are Few-Shot Learners. NeurIPS, 2020. (arXiv 2005.14165)
- Olsson, Elhage, Nanda et al. (Anthropic). In-context Learning and Induction Heads. Transformer Circuits Thread, 2022. (arXiv 2209.11895)
- Elhage, Nanda, Olsson et al. (Anthropic). A Mathematical Framework for Transformer Circuits. Transformer Circuits Thread, 2021.
- Min, Lyu, Holtzman, Artetxe, Lewis, Hajishirzi, Zettlemoyer. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. EMNLP, 2022. (arXiv 2202.12837)
- Chan, Santoro et al. Data Distributional Properties Drive Emergent In-Context Learning in Transformers. NeurIPS, 2022. (arXiv 2205.05055)
- Garg, Tsipras, Liang, Valiant. What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. NeurIPS, 2022. (arXiv 2208.01066)
- von Oswald, Niklasson, Randazzo, Sacramento et al. Transformers Learn In-Context by Gradient Descent. ICML, 2023. (arXiv 2212.07677)