Inteligência Artificial

O que é in-context learning? Como um modelo aprende sem treinar

Por Vivian Kang
O que é in-context learning? Como um modelo aprende sem treinar
Pumpkin Explica, #7
(Como exemplos no prompt ensinam o modelo sem mexer num único peso)
Nota da editora: sétimo post da série Pumpkin Explica, e a primeira parte de uma trilogia sobre o que o modelo faz na hora de responder, sem treinar nada. No post anterior a gente viu o contexto reescrever cada palavra durante a leitura; aqui esse mesmo poder vira ferramenta, exemplos no prompt que moldam a resposta sem ajustar um peso. Cada termo técnico é definido na primeira vez que aparece, e há um glossário no fim.
TL;DR

Você cola alguns exemplos no prompt e o modelo passa a executar uma tarefa que ninguém treinou nele, sem ajustar um único peso. Isso é in-context learning, e o "aprendizado" não mora nos pesos: mora no forward pass, na leitura do próprio prompt, e some quando a conversa acaba. O mecanismo tem nome, induction head, e é a self-attention da parte anterior reaproveitada pra achar um padrão antes no texto e continuá-lo. Tem uma pegadinha: trocar os rótulos certos dos exemplos por rótulos aleatórios quase não piora o resultado, sinal de que o modelo aprende o formato e o espaço de respostas, não o mapa de entrada pra saída. Tem ainda uma leitura mais funda, a de que ler exemplos pode ser, por baixo, otimizar: o prompt define uma perda e o forward pass dá os passos pra minimizá-la, coisa que dá pra escrever em conta num exemplo pequeno. Saber disso muda o que você coloca no contexto, porque o contexto é o programa.

Mostre ao modelo três frases, cada uma com um rótulo: "o atendimento foi nota dez" → positivo, "esperei quarenta minutos e ninguém respondeu" → negativo, "chegou antes do prazo" → positivo. Agora escreva uma quarta, "veio com uma peça faltando", e pare. O modelo completa: negativo.

Ninguém treinou esse classificador. Ele não existia trinta segundos atrás. E o ponto que importa: nenhum peso do modelo mudou entre a primeira frase e a resposta. O modelo que leu o seu exemplo é byte por byte o mesmo de antes. Mesmo assim, ele aprendeu a tarefa ali, na hora. A pergunta deste post é como.

01 — O fenômeno

O que é in-context learning

In-context learning é a capacidade de um LLM executar uma tarefa nova a partir de exemplos colocados no próprio prompt, no momento da pergunta, sem nenhum ajuste de peso. Você apresenta alguns pares de entrada e saída, faz uma nova pergunta no mesmo formato, e o modelo continua o padrão. Os exemplos que você cola têm um nome técnico, demonstrations (demonstrações), e a quantidade deles dá o apelido da técnica: zero-shot é nenhum exemplo, só a instrução; one-shot é um; few-shot são alguns, de dois a algumas dezenas.

O termo se firmou em 2020, com o paper que apresentou o GPT-3. Era um modelo de 175 bilhões de parâmetros, dez vezes maior que qualquer antecessor, e a frase que define o trabalho está no próprio resumo: as tarefas foram resolvidas "sem nenhum gradient update", especificadas apenas pelo texto da conversa. Gradient update é um passo de treino, o ajuste que move os pesos na direção de errar menos. Dizer que não houve nenhum é dizer que o modelo não foi treinado pra aquilo. Ele só leu os exemplos e seguiu.

Vale separar isso de treino de verdade, porque é a confusão mais comum. Treinar os pesos de um modelo, ou fazer fine-tuning (reajustar um modelo já pronto pra um domínio específico), muda os números que constituem o modelo: é permanente, é caro, e o que sai do outro lado é um modelo diferente. In-context learning não muda número nenhum. É a diferença entre reescrever um programa e simplesmente passar uma entrada diferente pra ele. O modelo é o mesmo; o que mudou foi o que você botou na frente dele.

02 — O lugar

Onde mora o aprendizado, e por que ele some

Se nenhum peso mudou, onde foi parar o que o modelo aprendeu? A resposta é o coração do conceito. Existem dois lugares onde o comportamento de um modelo pode mudar, e eles não se misturam.

Um é nos pesos: os bilhões de números fixos que o treino deixou pra trás. Mexer neles é treinar, e o efeito fica gravado. O outro é no forward pass: a passagem única que o modelo faz pela sua entrada toda vez que vai responder, da primeira palavra do prompt até a previsão do próximo token. Nessa passagem, cada token vira uma pilha de vetores intermediários, calculados na hora e descartados no fim. In-context learning vive aí. O modelo lê os exemplos, monta nesses vetores uma representação da tarefa que você está pedindo, e usa essa representação pra responder. Nada disso volta pros pesos. Feche a conversa e o classificador de sentimento que existia há um instante deixa de existir, porque ele nunca esteve nos pesos, só na leitura daquele prompt.

É a mesma maquinaria que a parte anterior da trilogia abriu. A self-attention faz cada palavra olhar pras outras e sair com o significado ajustado pelo contexto, ali na leitura, sem treinar nada. In-context learning é esse mesmo ajuste levado um passo adiante: se o contexto consegue reescrever o sentido de "banco" a partir de "dinheiro" três palavras antes, ele também consegue reescrever o que o modelo está fazendo a partir de três exemplos colados no início. Aprender com o contexto e entender o contexto são, mecanicamente, o mesmo gesto.

03 — O mecanismo

Induction heads: como o modelo continua um padrão

"Montar uma representação da tarefa" explica o resultado, não o mecanismo. E o mecanismo mais bem compreendido envolve a própria self-attention da parte anterior, reaproveitada. A peça mais bem mapeada chama-se induction head: uma cabeça de atenção que faz duas coisas em sequência. Primeiro, ela olha pra trás no texto e acha um ponto onde o token atual já apareceu antes, é o prefix matching (casamento de prefixo). Depois, ela copia o token que veio logo em seguida daquela vez, é o copying (cópia). Em forma de regra: se o texto já trouxe a sequência [A] [B] lá atrás e [A] reaparece agora, a cabeça aposta que vem [B] de novo.

Fita de tokens A, B, ..., C, D, ..., A. Uma seta de cima (prefix matching) liga o A atual à ocorrência anterior de A; uma seta de baixo (copying) traz o B que vinha logo depois para o slot da previsão.
A induction head em dois passos: casar o token atual com uma ocorrência anterior (prefix matching), depois copiar o que veio logo em seguida (copying).

Lembra de como a atenção funciona: a query de um token é a pergunta que ele faz, a key de cada outro é o rótulo que ele anuncia, e o produto entre as duas decide quem olha pra quem. Numa induction head, a query do token atual está, na prática, perguntando "onde eu apareci antes?", e ela casa com a key da posição logo após a ocorrência anterior. O value que circula é o token a ser copiado. É a mesma operação de query, key e value, especializada numa tarefa só: completar repetição.

Agora volte ao nosso prompt de sentimento. Ele é, por construção, uma repetição: frase, seta, rótulo, quebra de linha, frase, seta, rótulo, quebra de linha. Quando o modelo chega na quarta frase e bate na seta, a estrutura à frente é idêntica às três vezes anteriores. As cabeças que aprenderam a continuar padrão atendem de volta pra "o que veio depois da seta nos casos parecidos" e empurram a saída pra um rótulo, no formato dos rótulos que já viram. O few-shot é essa máquina de completar repetição operando num nível mais abstrato que copiar um nome.

O que torna isso mais do que uma curiosidade é quando essas cabeças surgem. Treinando um modelo e observando a curva de erro, a Anthropic encontrou uma transição abrupta, um phase change: num intervalo estreito do treino, as induction heads se formam, e a habilidade de in-context learning salta no mesmo instante, deixando uma marca visível na curva. Não é um ganho gradual, é uma virada de chave. E ela só acontece em modelos com mais de uma camada de atenção, porque o mecanismo exige uma cabeça compondo com outra: uma marca a posição anterior, a outra copia a partir dela.

A habilidade de aprender pelo contexto não foi programada linha a linha. Ela apareceu de uma vez, no meio do treino, quando o modelo descobriu sozinho um circuito de atenção que continua padrões. Foi nesse ponto que prever a próxima palavra virou, de quebra, aprender com exemplos.

04 — A pegadinha

O que o modelo realmente aprende dos exemplos

Aqui o conceito ganha um contorno que a maioria das explicações pula. A intuição diz que os exemplos ensinam o modelo a associar cada entrada à sua resposta certa. Um experimento de 2022 mostrou que não é bem isso.

Pegaram prompts few-shot e fizeram uma sabotagem controlada: trocaram os rótulos corretos das demonstrações por rótulos aleatórios. No nosso caso, seria mostrar "chegou antes do prazo → negativo" e "veio com uma peça faltando → positivo", rótulos embaralhados de propósito, e só então fazer a pergunta de verdade. A expectativa era o desempenho desabar. Ele quase não se mexeu, e o resultado se repetiu em doze modelos diferentes, incluindo o GPT-3.

A conclusão reorganiza o que "aprender" significa aqui. Se os rótulos certos quase não importam, então não é o mapa de entrada pra saída que as demonstrações ensinam. O que elas ensinam é outra coisa, em três frentes: o espaço de rótulos (que as respostas possíveis são "positivo" e "negativo", não uma nota de 0 a 10), a distribuição da entrada (o tipo de texto sobre o qual você está perguntando) e o formato (frase, seta, rótulo, uma resposta curta por linha). Os exemplos dizem ao modelo em que jogo ele está e como é uma jogada válida; a capacidade de fazer a jogada certa já estava nos pesos, vinda do pré-treino. Vale a ressalva: o efeito depende do tamanho do modelo e da tarefa, e modelos maiores conseguem, sim, aproveitar o rótulo verdadeiro em parte. Mas a direção é clara, e contraintuitiva: o rótulo certo importa muito menos do que o formato certo. Isso levanta uma pergunta natural: se o mapa de entrada pra saída importa tão pouco, de onde vem essa habilidade?

05 — A origem

Por que essa habilidade existe

Ninguém programou in-context learning de propósito. Ele emerge do pré-treino, como efeito colateral de um objetivo muito mais simples, o mesmo que está por trás da alucinação: prever a próxima palavra, bilhões de vezes, em bilhões de documentos. Documentos reais têm estrutura. Repetem termos, mantêm consistência interna, seguem um padrão que se estabelece no começo e continua até o fim. Pra prever bem o final, ajuda enormemente identificar esse padrão e reaplicá-lo, e quanto melhor o modelo faz isso, menor o erro. É exatamente nessa direção que a loss o empurra durante o treino.

Isso explica o essencial, mas deixa um aviso: a habilidade não é garantia da arquitetura, é consequência dos dados. Pesquisas que variaram de propósito a distribuição dos dados de treino mostraram que in-context learning aparece quando essa distribuição tem certas propriedades, como muitas classes raras e exemplos que chegam em rajadas em vez de espalhados por igual. Tire essas características e a habilidade pode não emergir, mesmo com a mesma arquitetura. Ou seja, o modelo não foi treinado pra "aprender com exemplos". Ele aprendeu porque detectar e estender padrões reduz a loss.

Existe ainda uma leitura mais ousada, e é onde a pesquisa fica especulativa: a de que o forward pass sobre as demonstrações implementa algo parecido com um passo de otimização, como se o modelo construísse na hora, dentro daquela passagem, um pequeno preditor ajustado àqueles exemplos. Em cenários controlados, com atenção linear e tarefas matemáticas simples, dá pra mostrar que uma camada de atenção pode reproduzir um passo de gradient descent. É uma hipótese influente, demonstrada no pequeno e no limpo, não um fato estabelecido pra um LLM completo respondendo em linguagem. Trato como o que é: uma pista forte de que o que parece "ler exemplos" pode ser, por baixo, "otimizar rapidinho". A próxima seção pega essa pista e transforma em conta, num exemplo pequeno o bastante pra escrever cada passo à mão.

06 — O modelo de brinquedo

Onde a hipótese vira conta

A induction head explica o mecanismo local, continuar um padrão. Agora vem a leitura complementar, a de que esse mesmo gesto pode ser otimização disfarçada. Pra enxergar isso sem fé, troca-se linguagem por um problema numérico simples, onde cada passo pode ser escrito por extenso. O resultado vem de um caso bem específico: num regime simplificado, uma camada de atenção consegue implementar exatamente um passo de gradient descent. A frase que segura tudo é esta: o prompt define uma função de perda, e o forward pass executa a otimização.

O setup. Vamos de regressão linear, o problema mais simples que ainda tem o que otimizar:

  • x∈Rdx \in \mathbb{R}^d, a entrada
  • y∈Ry \in \mathbb{R}, a saída
  • w∈Rdw \in \mathbb{R}^d, os parâmetros
  • w⋅xw \cdot x, a previsão
  • L(w)L(w), a função de perda
  • ∇L(w)\nabla L(w), o gradiente
  • α\alpha, a taxa de aprendizado

O objetivo clássico seria achar o ww que minimiza L(w)L(w). Aqui não vamos atualizar ww, e é justamente esse o ponto.

O papel do prompt. No in-context learning, o prompt traz exemplos, (x1,y1),(x2,y2),…(x_1, y_1), (x_2, y_2), \dots, e esses exemplos definem implicitamente uma função de perda: a média dos erros do modelo sobre eles. Nada foi programado, a perda emerge dos dados. Ou seja, o prompt não é só contexto, é um problema de otimização disfarçado de texto.

A virada: mexer no dado, não no peso. Um passo de gradient descent atualizaria os pesos:

wnovo=wantigo−α ∇Lw_{\text{novo}} = w_{\text{antigo}} - \alpha\,\nabla L

Mas como a perda depende de (w⋅x−y)(w \cdot x - y), existe uma equivalência. Em vez de atualizar ww, dá pra manter ww fixo e ajustar os alvos:

y~=y−Δw⋅x\tilde{y} = y - \Delta w \cdot x

Em vez de mover os pesos, movemos os dados. Isso é o que destrava tudo, porque uma camada de atenção não altera pesos, ela só transforma tokens.

Dois painéis. À esquerda, 'mexer no peso': a reta do modelo gira e a previsão sobe até o alvo, que fica parado. À direita, 'mexer no dado': a reta fica parada e o ponto-alvo desce até a previsão. Nos dois, o erro que sobra é igual.
Os dois caminhos fecham o mesmo buraco: girar a reta (mexer no peso) ou baixar o alvo (mexer no dado) chegam à mesma perda. É essa equivalência que deixa a atenção otimizar sem tocar nos pesos.

O exemplo mínimo. Dois exemplos e uma pergunta:

x1=(1,0),  y1=2x2=(0,1),  y2=3xteste=(1,1)x_1 = (1,0),\ \ y_1 = 2 \qquad x_2 = (0,1),\ \ y_2 = 3 \qquad x_{\text{teste}} = (1,1)

Cada par vira um token, com o alvo no último slot:

e1=(1,0,2)e2=(0,1,3)eteste=(1,1,0)e_1 = (1,0,2) \qquad e_2 = (0,1,3) \qquad e_{\text{teste}} = (1,1,0)

O último valor do token de teste começa em zero: é o slot da resposta, o que a gente quer preencher.

Um passo de otimização. A perda implícita dos dois exemplos:

L(w)=14[(w⋅x1−2)2+(w⋅x2−3)2]L(w) = \tfrac{1}{4}\left[(w \cdot x_1 - 2)^2 + (w \cdot x_2 - 3)^2\right]

Começando em w0=(0,0)w_0 = (0,0), o gradiente e o passo dão:

∇L(w0)=(−1, −1.5)Δw=(1, 1.5)w1=(1, 1.5)\nabla L(w_0) = (-1,\ -1.5) \qquad \Delta w = (1,\ 1.5) \qquad w_1 = (1,\ 1.5)

O mesmo passo, agora nos tokens. Aplicando y~=y−Δw⋅x\tilde{y} = y - \Delta w \cdot x aos alvos dos exemplos, y1y_1 vai de 22 pra 11 e y2y_2 vai de 33 pra 1.51.5. E pro token de teste, cujo slot estava zerado:

Δyteste=Δw⋅xteste=(1, 1.5)⋅(1,1)=2.5\Delta y_{\text{teste}} = \Delta w \cdot x_{\text{teste}} = (1,\ 1.5)\cdot(1,1) = 2.5

O slot vazio vira 2.52.5, que é exatamente w1⋅xtestew_1 \cdot x_{\text{teste}}, a previsão do modelo depois de um passo de gradiente. A conta fechou: transformar os tokens deu o mesmo resultado que treinar o peso.

O papel da atenção. Uma camada de atenção linear consegue implementar exatamente essa transformação: ela calcula produtos internos, combina os erros e atualiza os alvos. O efeito final é idêntico a um passo de gradient descent. E empilhar camadas repete o processo: depois de KK camadas, o modelo implícito deu KK passos de gradiente, e o token de teste carrega wK⋅xtestew_K \cdot x_{\text{teste}}. Profundidade vira número de iterações.

Quatro estágios dos tokens, cada um uma coluna [entrada | alvo]. As entradas nunca mudam; o slot-alvo da pergunta sai de zero (vazio) e sobe para 2.5, depois 4, até 5 ao longo das camadas.
Cada camada funciona como um passo de gradiente: as entradas ficam fixas e o slot vazio da pergunta sobe de zero até a resposta, 5, camada após camada.

Interpretação. Nada disso mexe nos pesos reais da rede. Os pesos codificam o algoritmo, o prompt fornece os dados, e o forward pass roda a otimização. É a saída pro paradoxo do começo do post: o modelo aprende sem mudar parâmetro nenhum porque o aprendizado acontece nas ativações, não nos pesos.

Vale dimensionar o que foi mostrado, pra não vender demais. O resultado depende de um cenário de brinquedo: atenção linear no lugar de softmax, regressão no lugar de linguagem, poucas camadas. Ele não prova que um LLM por dentro faz exatamente isso. Prova algo mais preciso, e ainda assim forte: sob certas condições, ler exemplos e otimizar um modelo são a mesma operação vista de dois ângulos. A formalização dessa equivalência é o paper de von Oswald et al. (2023), na base da lista de referências.

07 — Os limites

O que o in-context learning não faz

Entender o mecanismo deixa os limites óbvios, e eles importam mais do que a mágica. In-context learning condiciona a resposta ao que está no contexto. Tudo que ele faz é a partir do que você colocou ali.

Primeira consequência: ele não acrescenta conhecimento que o modelo não tem. Os exemplos moldam o formato e ativam um padrão; eles não buscam fatos em lugar nenhum. Se você pede o número do pedido de um cliente e esse número não está no prompt, nenhuma quantidade de exemplos o faz aparecer. O modelo completa o padrão com um número plausível e alucina com a mesma firmeza com que classificaria o sentimento. In-context learning direciona o comportamento; ele não preenche uma ausência de informação. Por isso anda colado com grounding, forçar a resposta a sair de uma fonte verificável, e não no lugar dele.

Segunda: o aprendizado não persiste. Ele vive naquele forward pass e morre com a conversa. Cada nova sessão recomeça do zero, e os exemplos precisam estar lá de novo.

Terceira: ele cabe na janela de contexto, e nem isso por inteiro. Os exemplos ocupam tokens, tokens custam, e o modelo ainda perde o fio quando o contexto fica longo demais, com a atenção se diluindo pelo meio. Encher o prompt de demonstrações tem um teto, e não é o tamanho anunciado da janela. In-context learning é uma alavanca de direção, poderosa e barata, não um jeito de injetar uma base de conhecimento inteira.

08 — A Pumpkin

Onde a Pumpkin entra

Se o modelo aprende com o que está no contexto, então decidir o que entra no contexto deixa de ser detalhe e vira o trabalho inteiro. É a primeira das seis funções de um harness, a infraestrutura que roda em volta do modelo: decidir o que ele vê a cada chamada. A Pumpkin Labs faz essa engenharia, e o nosso harness tem um knowledge graph no centro; sobre ele roda um Graph RAG que monta, a cada pergunta, o contexto certo, os fatos ligados pela relação que importa, no formato que o modelo sabe continuar. In-context learning é o que faz esse contexto bem montado virar comportamento confiável: o grafo escolhe a evidência, e a habilidade de aprender por exemplos transforma essa evidência em resposta. O grafo é uma peça do harness, não o harness inteiro, e in-context learning é a razão pela qual essa peça funciona.

No fundo, é uma inversão do que a indústria passou anos repetindo. A pergunta deixou de ser só "que modelo eu uso" e passou a ser "o que eu coloco na frente dele". Um modelo congelado, sem treinar nada, faz uma tarefa nova porque o contexto a descreveu. Isso quer dizer que o contexto é o programa, e quem escreve o contexto programa o modelo. As próximas partes da trilogia ficam nesse mesmo gesto, agora visto de fora: como escrever esse contexto de propósito, e o que isso muda na hora de construir um sistema que aguenta produção.

Glossário rápido
In-context learning
Capacidade de um LLM executar uma tarefa nova a partir de exemplos no próprio prompt, na hora da pergunta, sem nenhum ajuste de peso.
Demonstrations
Os exemplos (pares de entrada e saída) que você coloca no prompt antes da pergunta de verdade.
Few-shot / one-shot / zero-shot
Quantos exemplos vão no prompt: alguns, um, ou nenhum (só a instrução). Todos são formas de in-context learning.
Fine-tuning
Reajustar os pesos de um modelo já pronto pra um domínio específico. Muda o modelo de forma permanente, ao contrário do in-context learning.
Gradient update
Um passo de treino: o ajuste que move os pesos do modelo na direção de errar menos. In-context learning acontece sem nenhum.
Forward pass
A passagem única que o modelo faz pela entrada pra gerar a resposta, calculando vetores intermediários na hora e descartando-os no fim. É onde o in-context learning vive.
Induction head
Cabeça de atenção que olha pra trás no texto, acha onde o token atual já apareceu, e copia o que veio em seguida. O mecanismo mais mapeado por trás do in-context learning.
Prefix matching
Primeiro passo de uma induction head: atender de volta a uma ocorrência anterior do token atual.
Copying
Segundo passo de uma induction head: aumentar a probabilidade do token que veio logo após aquela ocorrência anterior.
Phase change
A transição abrupta, durante o treino, em que as induction heads se formam e a habilidade de in-context learning salta de uma vez.
FAQ · Perguntas frequentes

O que é in-context learning?

In-context learning é a capacidade de um LLM executar uma tarefa nova a partir de exemplos colocados no próprio prompt, na hora da pergunta, sem nenhum ajuste de peso. Você mostra alguns pares de entrada e saída, faz uma pergunta no mesmo formato, e o modelo continua o padrão. O termo foi popularizado pelo paper do GPT-3, em 2020, que mostrou um modelo de 175 bilhões de parâmetros resolvendo tarefas sem nenhum gradient update.

Qual a diferença entre in-context learning e fine-tuning?

Fine-tuning muda os pesos do modelo: é treino de verdade, permanente, caro, e produz um modelo novo. In-context learning não muda peso nenhum. A adaptação acontece no forward pass, na leitura do prompt, vive nos vetores intermediários daquela passagem e some quando a conversa acaba. Um é alterar o modelo; o outro é instruí-lo na hora, sem deixar marca.

O que são few-shot, one-shot e zero-shot?

São quantos exemplos você coloca no prompt antes de fazer a pergunta de verdade. Zero-shot é nenhum exemplo, só a instrução. One-shot é um exemplo. Few-shot são alguns, tipicamente de dois a algumas dezenas. A taxonomia foi popularizada pelo paper do GPT-3 em 2020, e os três são formas de in-context learning: mudam o que está no contexto, nunca os pesos.

Como o in-context learning funciona por dentro?

O mecanismo mais bem mapeado se chama induction head: uma cabeça de atenção que olha pra trás no texto, acha onde um padrão parecido já apareceu, e copia o que veio em seguida. É a self-attention reaproveitada pra completar repetição. A Anthropic mostrou que essas cabeças se formam de repente durante o treino, num intervalo estreito, e a habilidade de in-context learning salta no mesmo instante.

Os exemplos do prompt precisam ter rótulos corretos?

Menos do que se imagina. Um estudo de 2022 mostrou que trocar os rótulos certos dos exemplos por rótulos aleatórios quase não piora o desempenho, em doze modelos diferentes, incluindo o GPT-3. O que os exemplos ensinam é principalmente o formato da resposta, o conjunto de rótulos possíveis e o tipo de entrada, não o mapa exato de entrada para saída. O efeito varia com o tamanho do modelo e a tarefa.

In-context learning resolve o problema de o modelo não saber os meus dados?

Só se o dado estiver no contexto. In-context learning condiciona a resposta ao que está no prompt; ele não acrescenta conhecimento que o modelo não tem nem busca informação em lugar nenhum. Se a resposta sobre o seu cliente não está no contexto, nenhuma quantidade de exemplos a inventa: o modelo completa o padrão e alucina. É por isso que in-context learning anda junto com grounding, não no lugar dele.

De onde vem a habilidade de in-context learning?

Ela não foi projetada, emergiu do pré-treino. Prever a próxima palavra em bilhões de documentos recompensa um modelo que percebe um padrão no começo de um texto e o reaplica adiante. Pesquisas mostram que a habilidade aparece quando a distribuição dos dados de treino tem certas propriedades, como classes raras e exemplos que vêm em rajadas. Existe também a hipótese de que o forward pass sobre os exemplos implementa algo parecido com um passo de otimização, demonstrada em cenários controlados.
Referências
  • Brown, Mann, Ryder, Subbiah et al. Language Models are Few-Shot Learners. NeurIPS, 2020. (arXiv 2005.14165)
  • Olsson, Elhage, Nanda et al. (Anthropic). In-context Learning and Induction Heads. Transformer Circuits Thread, 2022. (arXiv 2209.11895)
  • Elhage, Nanda, Olsson et al. (Anthropic). A Mathematical Framework for Transformer Circuits. Transformer Circuits Thread, 2021.
  • Min, Lyu, Holtzman, Artetxe, Lewis, Hajishirzi, Zettlemoyer. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. EMNLP, 2022. (arXiv 2202.12837)
  • Chan, Santoro et al. Data Distributional Properties Drive Emergent In-Context Learning in Transformers. NeurIPS, 2022. (arXiv 2205.05055)
  • Garg, Tsipras, Liang, Valiant. What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. NeurIPS, 2022. (arXiv 2208.01066)
  • von Oswald, Niklasson, Randazzo, Sacramento et al. Transformers Learn In-Context by Gradient Descent. ICML, 2023. (arXiv 2212.07677)
Primeira parte de uma trilogia que pega uma ideia simples, um modelo congelado aprende uma tarefa só de ler exemplos, e a leva até as últimas consequências. Aqui ficou onde esse aprendizado mora: no forward pass, não nos pesos. A próxima parte leva a sério a hipótese do fim deste post, a de que ler exemplos é otimizar por baixo, e mostra por que um prompt se comporta como um LoRA, um ajuste de peso temporário que o próprio contexto induz. A terceira chega no destino: meta-harnessing, quando um modelo grande usa esse mecanismo pra comandar um modelo pequeno.

Gostou do conteúdo?

Entre em contato conosco para descobrir como implementar essas soluções na sua empresa.