Como funciona a self-attention: query, key, value e o cálculo da atenção
Self-attention é o mecanismo que deixa cada palavra de uma frase olhar para todas as outras ao mesmo tempo e decidir quais importam. Cada palavra vira três vetores: uma query (o que eu procuro), uma key (o que eu ofereço) e um value (o que eu entrego). Comparar query com key por produto escalar e normalizar com softmax dá o quanto cada palavra atende a cada outra; os values, misturados nessas proporções, devolvem cada palavra com o significado já ajustado pelo contexto. A conta compara todos com todos, então custa no quadrado do tamanho do contexto. Foi essa ideia, de 2017, que deu contexto aos LLMs.
"Ele deixou o dinheiro no banco." Você sabe, sem pensar, que esse banco é o da agência, não o da praça. A pista é a palavra "dinheiro", três posições antes. A questão deste post é mecânica: como, exatamente, a palavra "banco" alcança a palavra "dinheiro" e volta com o sentido certo?
A resposta tem um nome: self-attention. É a peça que o primeiro post da série apresentou de relance, como uma etapa entre a tokenização e a escolha do próximo token. Aqui a gente para nela e abre por dentro: as três projeções, o produto escalar, o softmax, a soma ponderada. Sem mística, e desta vez sem fugir da conta.
Antes da self-attention: por que o modelo perdia o fio da frase
Antes de 2017, um modelo de linguagem lia uma frase mais ou menos como você decoraria um recado comprido sem poder anotar nada: palavra por palavra, guardando o sentido do todo numa única memória interna de tamanho fixo. A cada palavra nova, essa memória era reescrita para absorver o que acabara de chegar. Era a arquitetura recorrente, e o nome diz o que ela fazia: passava adiante um mesmo estado, recorrendo a ele a cada passo, do começo ao fim da frase.
O limite está nesse tamanho fixo. Tudo o que a frase já disse precisa caber no mesmo punhado de números, e esse punhado não cresce quando a frase cresce. Numa frase longa, cada reescrita diluiu um pouco mais o que veio antes, até o começo virar um borrão. Quando "banco" finalmente chega, "dinheiro", que apareceu lá atrás, já pode ter sido espremido para fora da memória. Some a isso um segundo limite: como cada passo depende do estado que o anterior produziu, a leitura é obrigatoriamente sequencial. Não dá para processar a frase inteira de uma vez, e o treino fica lento na mesma medida.
São duas amarras no mesmo mecanismo: a memória esquece o que ficou para trás, e a conta não roda em paralelo. É a mesma perda que a série já olhou pelo outro lado, quando o contexto é longo demais e a informação morre no meio. A diferença é a origem: lá o aperto vinha do tamanho do documento; aqui, da decisão de ler uma palavra de cada vez carregando um resumo que não para de ser sobrescrito.
Então, em 2017, um paper jogou esse mecanismo inteiro fora. Em vez de tentar fortalecer a memória que passava de palavra em palavra, ele eliminou a passagem. O que entrou no lugar é o resto deste post.
A ideia central da self-attention: cada palavra olha para todas as outras
A virada cabe numa pergunta: e se, em vez de carregar tudo num resumo que se sobrescreve, cada palavra pudesse olhar para todas as outras da frase de uma vez e decidir, por conta própria, quais importam para ela?
Sem fila, sem memória que desbota. A palavra "banco" olha para "ele", "deixou", "o", "dinheiro", "no", todas ao mesmo tempo, e reparte sua atenção entre elas. Descobre que "dinheiro" é a que mais importa, e se ajusta a isso.
O "self" do nome está exatamente aí: a frase presta atenção em si mesma, em vez de comparar duas sequências diferentes. Cada palavra é, ao mesmo tempo, quem olha e quem é olhada. Falta só dizer como ela olha. É o que vem agora.
O que são query, key e value
Cada token começa como um embedding: um vetor, um ponto no espaço de significado, onde palavras parecidas caem perto e palavras sem relação caem longe (o primeiro post abre essa ideia em detalhe). Esse vetor é genérico: é o que "banco" significa em média, antes de saber em que frase está.
Para participar da atenção, cada token usa esse embedding para se desdobrar em três papéis. O trabalho é feito por três matrizes, a , a e a , uma para cada papel. Matriz, aqui, é uma tabela de números que age como uma máquina de transformar vetores: você entrega um vetor de entrada e ela devolve um vetor de saída, em que cada número de saída é uma combinação ponderada dos números de entrada (o primeiro post trata cada matriz dessas como um conjunto de perguntas aprendidas sobre o vetor). Multiplicar o embedding do token na posição por cada uma das três matrizes dá os três vetores que a atenção vai usar:
Os três nascem do mesmo . O que muda de um para o outro é a matriz que o transforma, e é a matriz que dá a cada vetor o seu papel:
- A query () é a pergunta que esta palavra está fazendo: "o que eu estou procurando?". A query de "banco" carrega algo como "quero uma pista do meu sentido".
- A key () é o rótulo que ela anuncia aos outros: "aqui está o que eu ofereço". A key de "dinheiro" anuncia "eu sou contexto financeiro".
- O value () é o conteúdo que ela vai de fato entregar, caso seja escolhida: "se você me considerar relevante, é isto que eu te passo".
O ponto que costuma passar batido está aí: não é a palavra que escolhe ser pergunta, rótulo ou conteúdo, é a matriz. , e são parâmetros, números fixados durante o treino e idênticos para todas as posições da frase. A mesma projeta o embedding de "banco", o de "dinheiro" e o de qualquer outro token; o que a torna útil é o que ela aprendeu a extrair. Cada uma das três puxa do embedding um aspecto diferente, o que vale como pergunta, o que vale como anúncio, o que vale como conteúdo, e é esse aprendizado que faz três vetores úteis brotarem de um só. As matrizes ainda costumam encolher o vetor no caminho: o embedding pode ter alguns milhares de dimensões, e as queries e keys, bem menos, o que deixa mais barata a comparação que vem na próxima seção.
São três projeções da mesma palavra, cada uma com seu propósito. Por enquanto, guarde query e key: são elas que decidem quem olha para quem. O value tem um momento só dele mais à frente, porque a ordem importa: primeiro a gente estabelece quem atende a quem, depois o que circula entre eles.
Como o modelo calcula os pesos da atenção: produto escalar e softmax
Toda a atenção se resume a uma pergunta: para cada palavra, quanto de cada uma das outras ela deve levar em conta? A resposta sai de uma operação que você já viu na escola, agora com um propósito novo: o produto escalar.
Na seção anterior, cada token virou três vetores: uma query, uma key e um value. O produto escalar entre dois vetores é um número só, e ele mede uma coisa: o quanto os dois apontam na mesma direção. Alto quando estão alinhados, perto de zero quando não têm nada a ver. É exatamente o que a atenção quer saber. A query de uma palavra carrega o que ela procura; a key de cada palavra carrega o que ela oferece. Alinhar uma na outra dá a nota de compatibilidade entre as duas.
Para a palavra na posição olhando para a palavra na posição , a nota bruta é o produto escalar entre a query de uma e a key da outra:
Na prática, a conta leva um ajuste. Esses produtos tendem a crescer junto com o número de dimensões dos vetores, e nota grande demais entorta a etapa seguinte: o softmax satura e o modelo perde a capacidade de distinguir uma nota da outra. Para conter isso, divide-se pela raiz da dimensão das keys, :
É um detalhe técnico com efeito concreto. Mantém as notas numa faixa onde o softmax ainda consegue trabalhar.
Agora repare no que acontece quando você faz isso para todas as palavras de uma vez. Cada uma das palavras tem uma query, e cada query é comparada com as keys. O resultado não é uma lista, é uma grade: uma matriz , uma nota para cada par de palavras. Escrita de forma compacta, é todo o conjunto de queries multiplicado por todo o conjunto de keys:
Guarde o formato dessa grade. Daqui a pouco ele volta.
A grade de notas brutas ainda não serve para nada. Uma nota de 8,3 não diz nada sozinha. 8,3 perto de quê? O que a atenção precisa é de proporção: de tudo o que a palavra poderia olhar, que fatia da atenção vai para cada palavra . É o que o softmax faz. Ele pega cada linha da grade e transforma as notas em pesos que somam 1. Para a linha da palavra :
Cada peso é a fração da atenção que a palavra dedica à palavra . Some a linha inteira e dá 100%. A grade de notas vira a matriz de atenção: quem olha para quem, e com que intensidade.
Falta uma peça. Esses pesos dizem o quanto cada palavra importa, mas ainda não moveram nenhum conteúdo. Quem carrega o conteúdo é o value, e é com ele que a próxima seção fecha a conta. A operação inteira, de uma vez, é assim:
Tudo o que a gente montou até aqui é o que está dentro do softmax. O value entra no passo seguinte.
E aqui volta o formato da grade. A matriz de atenção é , onde é o número de tokens no contexto. Ou seja, ela tem células. Tanto a memória para guardá-la quanto o cálculo para preenchê-la crescem com o quadrado do tamanho do contexto. Dobre o contexto e o custo não dobra: ele quadruplica. Um documento dez vezes maior custa cem vezes mais atenção.
A atenção não cresce na mesma proporção do texto. Cresce no quadrado dele. É por isso que janelas de contexto têm limite, que prompts longos ficam caros rápido, e que, num documento grande o bastante, a atenção do modelo se espalha fina demais para segurar o fio. (→ Como os LLMs perdem contexto em documentos longos)
Cada token novo não acrescenta uma linha à grade. Acrescenta uma linha e uma coluna. O texto cresce em linha reta; a conta por trás dele cresce em área.
Para que servem os value vectors
Até agora, query e key só fizeram uma coisa: decidir o quanto cada palavra importa para cada outra. Eles produziram os pesos, aquela matriz de atenção onde cada linha soma 100%. Mas peso não é conteúdo. Nenhuma informação de fato circulou ainda. É como ter dividido a atenção em fatias sem que nada tenha sido servido nos pratos.
Quem é servido é o value. Cada palavra, lembre, gerou também um vetor de value, o conteúdo que ela entrega se for escolhida. Agora os pesos finalmente agem sobre alguma coisa: a saída de cada palavra é a mistura ponderada dos values de todas as palavras, cada um entrando na proporção exata da atenção que recebeu.
Em fórmula, a saída do token é a soma dos values de todas as palavras , cada um pesado pela atenção que dedicou a ele:
É exatamente o que fechava a equação da seção anterior. O softmax decidiu os pesos ; aqui eles se aplicam aos values, e o resultado é um vetor novo para cada palavra.
Para "banco", que deu quase toda a sua atenção a "dinheiro", isso significa que o value de "dinheiro" domina a mistura. O value de "ele", que ganhou um peso minúsculo, mal aparece. A saída de "banco" é, em grande parte, o conteúdo de "dinheiro", temperado por pitadas de todo o resto.
É isto que resolve a pergunta que mais confunde quem encara a atenção pela primeira vez: por que três vetores? Porque eles fazem trabalhos diferentes. Query e key respondem o quanto: quanto uma palavra atende à outra. O value responde o quê: o que de fato é passado adiante. Separar o "quanto" do "quê" é o que deixa a palavra medir relevância numa dimensão e mover conteúdo em outra, sem misturar as duas.
Como a atenção refina o significado de cada palavra com o contexto
Aqui a mecânica toda se paga. Depois daquela mistura ponderada, cada palavra sai com um embedding novo: o seu significado original, agora atualizado pelo contexto à volta.
O exemplo canônico é o do começo. A palavra "banco" entra na atenção como um vetor genérico, indeciso entre a agência e a praça. Numa frase, ela atende a "dinheiro" e sai com o vetor puxado para o sentido financeiro. Em "ele sentou no banco da praça", a mesma palavra atende a "praça" e sai puxada para o geográfico. Mesma palavra na entrada, vetor refinado diferente na saída, e a única coisa que mudou foram os vizinhos.
Esse ajuste é o entendimento de contexto, mecanicamente. Não há nenhum passo extra onde o modelo "compreende" a frase; a compreensão é exatamente isto: cada vetor saindo da atenção um pouco menos genérico e um pouco mais específico daquela frase em particular. A palavra deixa de significar o que significa no dicionário e passa a significar o que significa ali.
(Um detalhe, se você quiser o quadro completo: na prática o modelo roda várias atenções em paralelo na mesma camada, o multi-head attention. Cada "cabeça" tem seu próprio query, key e value, e tende a capturar um tipo diferente de relação: uma cuida de concordância gramatical, outra de ligar pronome a nome, outra de relação de sentido. O mecanismo é o mesmo desta seção, multiplicado.)
Como a self-attention se encaixa no Transformer (até a previsão do próximo token)
Tudo o que a gente abriu até aqui (query, key, value, produto escalar, softmax, a mistura dos values) é um passo de atenção. Uma camada. O modelo inteiro, o Transformer, é uma pilha dessas camadas, uma em cima da outra.
Entre uma atenção e a seguinte fica um outro bloco, a MLP (uma rede que processa cada token por conta própria, sem olhar os vizinhos). Não é o assunto deste post: basta saber que ela existe e que reparte o trabalho com a atenção em cada camada. Cada camada pega os embeddings que a anterior refinou e refina de novo, um pouco mais. "Banco" sai da primeira camada já inclinado para o financeiro; nas camadas seguintes, esse sentido se afina e se conecta ao resto da frase.
No fim da pilha, sobra um último passo, e ele fecha o arco que abriu o post.
O embedding já totalmente refinado do último token é multiplicado pela matriz de unembedding, que dá uma nota a cada palavra do vocabulário inteiro. O softmax transforma essas notas em probabilidades, e o modelo escolhe o próximo token. (Curiosidade: a matriz de unembedding costuma ser a própria tabela de embeddings rodada ao contrário, a mesma ponte entre palavra e vetor, atravessada no sentido de volta.)
E é esta a tese, fechada: "cada palavra olha para todas as outras" vira "a próxima palavra aparece". A self-attention espalha o contexto por todos os tokens; a última multiplicação colhe o resultado no token final e o transforma numa aposta sobre o que vem a seguir.
Sobram peças que este post deixa nomeadas mas não abre: o layer norm e o residual stream, que mantêm a pilha estável e treinável. Saber que existem já basta; explicá-las é trabalho de outro texto.
Por que "Attention Is All You Need" mudou a IA em 2017
O paper que jogou fora a leitura palavra por palavra tinha um título que era, ele mesmo, a provocação: Attention Is All You Need. A atenção é tudo de que você precisa. A afirmação era literal: joguem fora a recorrência, a leitura sequencial palavra por palavra, e fiquem só com a atenção. Parecia ousado demais. Funcionou.
O modelo que nasceu dali, o Transformer, fazia o que a arquitetura recorrente não conseguia: olhava a frase inteira de uma vez, em paralelo, e ligava uma palavra a outra a qualquer distância sem perder o fio no caminho. Tinha sido desenhado para um problema específico, tradução automática. Em poucos anos, tinha engolido o campo inteiro: texto, código, imagem, áudio. Praticamente todo LLM que você usa hoje é um Transformer, e no coração de cada um está a operação deste post.
A tese, então, é esta: foi a self-attention que tornou o contexto possível. Antes dela, o sentido de uma palavra desbotava antes de alcançar a próxima. Depois dela, cada palavra reescreve o próprio significado a partir das vizinhas, dentro da frase, na hora.
E é justo aqui que o próximo post começa. Se o contexto consegue reescrever a representação de cada palavra durante a leitura, sem treinar nada, então exemplos colocados no próprio prompt também podem moldar o que o modelo faz, sem ajustar um único peso. Isso tem nome, in-context learning, e é o próximo da série.
O que é self-attention?
O que são query, key e value na atenção?
De onde vêm os vetores query, key e value?
O que é o produto escalar no cálculo da atenção?
Para que serve o softmax na atenção?
Por que a atenção tem custo quadrático?
O que são os value vectors?
O que é um embedding refinado?
O que é multi-head attention?
Como a atenção leva à previsão do próximo token?
Por que 'Attention Is All You Need' mudou a IA?
- Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin. Attention Is All You Need. NeurIPS, 2017. (arXiv 1706.03762)
- Bahdanau, Cho, Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015. (arXiv 1409.0473)
- Elhage et al. (Anthropic). A Mathematical Framework for Transformer Circuits. 2021.