Inteligência Artificial

Como funciona a self-attention: query, key, value e o cálculo da atenção

Por Vivian Kang
Pumpkin LabsPumpkin ExplainsSérieEnsaio Nº 06
Como funciona a
self-attention
Pumpkin Labs
Como funcionam os LLMs
Por Vivian Kang · Co-fundadora
pumpkinlabs.io
~12 min · junho 2026
Anatomia da atenção · esquemático
Fig. 06
01.
Q · K · V
três papéis
02.
Grade n×n
custo ao quadrado
03.
Significado
polos opostos
foco em "banco" → 79% do peso vai pra "dinheiro"
S01 · E06
Pumpkin Explica, #6
(Query, key, value e o cálculo que faz cada palavra olhar para todas as outras)
Nota da editora: sexto post da série Pumpkin Explica. No primeiro, a atenção apareceu como uma seção entre muitas; aqui a gente abre só essa caixa, e abre fundo. Diferente do resto da série, este post não foge das fórmulas: elas entram, com a conta explicada em português ao lado de cada uma. Cada termo é definido na primeira vez que aparece, e há um glossário no fim.
TL;DR

Self-attention é o mecanismo que deixa cada palavra de uma frase olhar para todas as outras ao mesmo tempo e decidir quais importam. Cada palavra vira três vetores: uma query (o que eu procuro), uma key (o que eu ofereço) e um value (o que eu entrego). Comparar query com key por produto escalar e normalizar com softmax dá o quanto cada palavra atende a cada outra; os values, misturados nessas proporções, devolvem cada palavra com o significado já ajustado pelo contexto. A conta compara todos com todos, então custa no quadrado do tamanho do contexto. Foi essa ideia, de 2017, que deu contexto aos LLMs.

"Ele deixou o dinheiro no banco." Você sabe, sem pensar, que esse banco é o da agência, não o da praça. A pista é a palavra "dinheiro", três posições antes. A questão deste post é mecânica: como, exatamente, a palavra "banco" alcança a palavra "dinheiro" e volta com o sentido certo?

A resposta tem um nome: self-attention. É a peça que o primeiro post da série apresentou de relance, como uma etapa entre a tokenização e a escolha do próximo token. Aqui a gente para nela e abre por dentro: as três projeções, o produto escalar, o softmax, a soma ponderada. Sem mística, e desta vez sem fugir da conta.

01 — O problema

Antes da self-attention: por que o modelo perdia o fio da frase

Antes de 2017, um modelo de linguagem lia uma frase mais ou menos como você decoraria um recado comprido sem poder anotar nada: palavra por palavra, guardando o sentido do todo numa única memória interna de tamanho fixo. A cada palavra nova, essa memória era reescrita para absorver o que acabara de chegar. Era a arquitetura recorrente, e o nome diz o que ela fazia: passava adiante um mesmo estado, recorrendo a ele a cada passo, do começo ao fim da frase.

O limite está nesse tamanho fixo. Tudo o que a frase já disse precisa caber no mesmo punhado de números, e esse punhado não cresce quando a frase cresce. Numa frase longa, cada reescrita diluiu um pouco mais o que veio antes, até o começo virar um borrão. Quando "banco" finalmente chega, "dinheiro", que apareceu lá atrás, já pode ter sido espremido para fora da memória. Some a isso um segundo limite: como cada passo depende do estado que o anterior produziu, a leitura é obrigatoriamente sequencial. Não dá para processar a frase inteira de uma vez, e o treino fica lento na mesma medida.

São duas amarras no mesmo mecanismo: a memória esquece o que ficou para trás, e a conta não roda em paralelo. É a mesma perda que a série já olhou pelo outro lado, quando o contexto é longo demais e a informação morre no meio. A diferença é a origem: lá o aperto vinha do tamanho do documento; aqui, da decisão de ler uma palavra de cada vez carregando um resumo que não para de ser sobrescrito.

Então, em 2017, um paper jogou esse mecanismo inteiro fora. Em vez de tentar fortalecer a memória que passava de palavra em palavra, ele eliminou a passagem. O que entrou no lugar é o resto deste post.

02 — A ideia

A ideia central da self-attention: cada palavra olha para todas as outras

A virada cabe numa pergunta: e se, em vez de carregar tudo num resumo que se sobrescreve, cada palavra pudesse olhar para todas as outras da frase de uma vez e decidir, por conta própria, quais importam para ela?

Sem fila, sem memória que desbota. A palavra "banco" olha para "ele", "deixou", "o", "dinheiro", "no", todas ao mesmo tempo, e reparte sua atenção entre elas. Descobre que "dinheiro" é a que mais importa, e se ajusta a isso.

O "self" do nome está exatamente aí: a frase presta atenção em si mesma, em vez de comparar duas sequências diferentes. Cada palavra é, ao mesmo tempo, quem olha e quem é olhada. Falta só dizer como ela olha. É o que vem agora.

●/01 — embedding · pumpkin labs
anim · 16:9 · t = 00:00.00
banco · vetor genérico
self-attention · 01 / 06
Uma frase. Seis palavras. Foco em "banco".
Ele
deixou
o
dinheiro
no
banco
espaço de significado · esquemático
◄ instituição financeira
lugar de sentar ►
0:00.00
0:20.00
03 — Os vetores

O que são query, key e value

●/02 — projeções · pumpkin labs
anim · 16:9 · t = 00:00.00
x → q · k · v
self-attention · 02 / 06
Cada palavra projeta três vetores por três matrizes fixas.
x · banco
0.2
0.9
0.5
0.1
embedding · 4 dims
0:00.00
0:28.00

Cada token começa como um embedding: um vetor, um ponto no espaço de significado, onde palavras parecidas caem perto e palavras sem relação caem longe (o primeiro post abre essa ideia em detalhe). Esse vetor é genérico: é o que "banco" significa em média, antes de saber em que frase está.

Para participar da atenção, cada token usa esse embedding para se desdobrar em três papéis. O trabalho é feito por três matrizes, a WQW_Q, a WKW_K e a WVW_V, uma para cada papel. Matriz, aqui, é uma tabela de números que age como uma máquina de transformar vetores: você entrega um vetor de entrada e ela devolve um vetor de saída, em que cada número de saída é uma combinação ponderada dos números de entrada (o primeiro post trata cada matriz dessas como um conjunto de perguntas aprendidas sobre o vetor). Multiplicar o embedding xix_i do token na posição ii por cada uma das três matrizes dá os três vetores que a atenção vai usar:

qi=WQ⋅xiki=WK⋅xivi=WV⋅xiq_i = W_Q \cdot x_i \qquad\qquad k_i = W_K \cdot x_i \qquad\qquad v_i = W_V \cdot x_i

Os três nascem do mesmo xix_i. O que muda de um para o outro é a matriz que o transforma, e é a matriz que dá a cada vetor o seu papel:

  • A query (qiq_i) é a pergunta que esta palavra está fazendo: "o que eu estou procurando?". A query de "banco" carrega algo como "quero uma pista do meu sentido".
  • A key (kik_i) é o rótulo que ela anuncia aos outros: "aqui está o que eu ofereço". A key de "dinheiro" anuncia "eu sou contexto financeiro".
  • O value (viv_i) é o conteúdo que ela vai de fato entregar, caso seja escolhida: "se você me considerar relevante, é isto que eu te passo".

O ponto que costuma passar batido está aí: não é a palavra que escolhe ser pergunta, rótulo ou conteúdo, é a matriz. WQW_Q, WKW_K e WVW_V são parâmetros, números fixados durante o treino e idênticos para todas as posições da frase. A mesma WQW_Q projeta o embedding de "banco", o de "dinheiro" e o de qualquer outro token; o que a torna útil é o que ela aprendeu a extrair. Cada uma das três puxa do embedding um aspecto diferente, o que vale como pergunta, o que vale como anúncio, o que vale como conteúdo, e é esse aprendizado que faz três vetores úteis brotarem de um só. As matrizes ainda costumam encolher o vetor no caminho: o embedding pode ter alguns milhares de dimensões, e as queries e keys, bem menos, o que deixa mais barata a comparação que vem na próxima seção.

São três projeções da mesma palavra, cada uma com seu propósito. Por enquanto, guarde query e key: são elas que decidem quem olha para quem. O value tem um momento só dele mais à frente, porque a ordem importa: primeiro a gente estabelece quem atende a quem, depois o que circula entre eles.

04 — O cálculo

Como o modelo calcula os pesos da atenção: produto escalar e softmax

Toda a atenção se resume a uma pergunta: para cada palavra, quanto de cada uma das outras ela deve levar em conta? A resposta sai de uma operação que você já viu na escola, agora com um propósito novo: o produto escalar.

Na seção anterior, cada token virou três vetores: uma query, uma key e um value. O produto escalar entre dois vetores é um número só, e ele mede uma coisa: o quanto os dois apontam na mesma direção. Alto quando estão alinhados, perto de zero quando não têm nada a ver. É exatamente o que a atenção quer saber. A query de uma palavra carrega o que ela procura; a key de cada palavra carrega o que ela oferece. Alinhar uma na outra dá a nota de compatibilidade entre as duas.

Para a palavra na posição ii olhando para a palavra na posição jj, a nota bruta é o produto escalar entre a query de uma e a key da outra:

score(i,j)=qi⋅kj\text{score}(i, j) = q_i \cdot k_j

Na prática, a conta leva um ajuste. Esses produtos tendem a crescer junto com o número de dimensões dos vetores, e nota grande demais entorta a etapa seguinte: o softmax satura e o modelo perde a capacidade de distinguir uma nota da outra. Para conter isso, divide-se pela raiz da dimensão das keys, dkd_k:

score(i,j)=qi⋅kjdk\text{score}(i, j) = \frac{q_i \cdot k_j}{\sqrt{d_k}}

É um detalhe técnico com efeito concreto. Mantém as notas numa faixa onde o softmax ainda consegue trabalhar.

●/03 — produto escalar · pumpkin labs
anim · 16:9 · t = 00:00.00
produto escalar · q · k
self-attention · 03 / 06
A query de "banco" mede cada key: produto escalar.
q · k — score bruto
direção · q vs k
q
0:00.00
0:33.00

Agora repare no que acontece quando você faz isso para todas as palavras de uma vez. Cada uma das nn palavras tem uma query, e cada query é comparada com as nn keys. O resultado não é uma lista, é uma grade: uma matriz n×nn \times n, uma nota para cada par de palavras. Escrita de forma compacta, é todo o conjunto de queries multiplicado por todo o conjunto de keys:

S=QK⊤dkS = \frac{Q K^\top}{\sqrt{d_k}}

Guarde o formato dessa grade. Daqui a pouco ele volta.

A grade de notas brutas ainda não serve para nada. Uma nota de 8,3 não diz nada sozinha. 8,3 perto de quê? O que a atenção precisa é de proporção: de tudo o que a palavra ii poderia olhar, que fatia da atenção vai para cada palavra jj. É o que o softmax faz. Ele pega cada linha da grade e transforma as notas em pesos que somam 1. Para a linha da palavra ii:

α(i,j)=exp⁡(score(i,j))∑j′exp⁡(score(i,j′))\alpha(i, j) = \frac{\exp\big(\text{score}(i, j)\big)}{\sum_{j'} \exp\big(\text{score}(i, j')\big)}

Cada peso α(i,j)\alpha(i, j) é a fração da atenção que a palavra ii dedica à palavra jj. Some a linha inteira e dá 100%. A grade de notas vira a matriz de atenção: quem olha para quem, e com que intensidade.

●/04 — grade n×n · pumpkin labs
anim · 16:9 · t = 00:00.00
grade n×n · softmax
self-attention · 04 / 06
Toda palavra contra toda palavra: uma grade n×n.
Ele
deix
o
din
no
banco
Ele
deix
o
din
no
banco
0:00.00
0:26.00

Falta uma peça. Esses pesos dizem o quanto cada palavra importa, mas ainda não moveram nenhum conteúdo. Quem carrega o conteúdo é o value, e é com ele que a próxima seção fecha a conta. A operação inteira, de uma vez, é assim:

Atenc¸a˜o(Q,K,V)=softmax ⁣(QK⊤dk)⋅V\text{Atenção}(Q, K, V) = \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) \cdot V

Tudo o que a gente montou até aqui é o que está dentro do softmax. O value entra no passo seguinte.

E aqui volta o formato da grade. A matriz de atenção é n×nn \times n, onde nn é o número de tokens no contexto. Ou seja, ela tem n2n^2 células. Tanto a memória para guardá-la quanto o cálculo para preenchê-la crescem com o quadrado do tamanho do contexto. Dobre o contexto e o custo não dobra: ele quadruplica. Um documento dez vezes maior custa cem vezes mais atenção.

A atenção não cresce na mesma proporção do texto. Cresce no quadrado dele. É por isso que janelas de contexto têm limite, que prompts longos ficam caros rápido, e que, num documento grande o bastante, a atenção do modelo se espalha fina demais para segurar o fio. (→ Como os LLMs perdem contexto em documentos longos)

Cada token novo não acrescenta uma linha à grade. Acrescenta uma linha e uma coluna. O texto cresce em linha reta; a conta por trás dele cresce em área.

05 — O conteúdo

Para que servem os value vectors

Até agora, query e key só fizeram uma coisa: decidir o quanto cada palavra importa para cada outra. Eles produziram os pesos, aquela matriz de atenção onde cada linha soma 100%. Mas peso não é conteúdo. Nenhuma informação de fato circulou ainda. É como ter dividido a atenção em fatias sem que nada tenha sido servido nos pratos.

Quem é servido é o value. Cada palavra, lembre, gerou também um vetor de value, o conteúdo que ela entrega se for escolhida. Agora os pesos finalmente agem sobre alguma coisa: a saída de cada palavra é a mistura ponderada dos values de todas as palavras, cada um entrando na proporção exata da atenção que recebeu.

Em fórmula, a saída do token ii é a soma dos values de todas as palavras jj, cada um pesado pela atenção α(i,j)\alpha(i, j) que ii dedicou a ele:

saıˊdai=∑jα(i,j)⋅vj\text{saída}_i = \sum_j \alpha(i, j) \cdot v_j

É exatamente o ⋅ V\cdot\, V que fechava a equação da seção anterior. O softmax decidiu os pesos α\alpha; aqui eles se aplicam aos values, e o resultado é um vetor novo para cada palavra.

●/05 — soma ponderada · pumpkin labs
anim · 16:9 · t = 00:00.00
soma ponderada dos values
self-attention · 05 / 06
Agora os values: o conteúdo que cada palavra carrega.
value × peso α
0:00.00
0:31.00

Para "banco", que deu quase toda a sua atenção a "dinheiro", isso significa que o value de "dinheiro" domina a mistura. O value de "ele", que ganhou um peso minúsculo, mal aparece. A saída de "banco" é, em grande parte, o conteúdo de "dinheiro", temperado por pitadas de todo o resto.

É isto que resolve a pergunta que mais confunde quem encara a atenção pela primeira vez: por que três vetores? Porque eles fazem trabalhos diferentes. Query e key respondem o quanto: quanto uma palavra atende à outra. O value responde o quê: o que de fato é passado adiante. Separar o "quanto" do "quê" é o que deixa a palavra medir relevância numa dimensão e mover conteúdo em outra, sem misturar as duas.

06 — O resultado

Como a atenção refina o significado de cada palavra com o contexto

Aqui a mecânica toda se paga. Depois daquela mistura ponderada, cada palavra sai com um embedding novo: o seu significado original, agora atualizado pelo contexto à volta.

O exemplo canônico é o do começo. A palavra "banco" entra na atenção como um vetor genérico, indeciso entre a agência e a praça. Numa frase, ela atende a "dinheiro" e sai com o vetor puxado para o sentido financeiro. Em "ele sentou no banco da praça", a mesma palavra atende a "praça" e sai puxada para o geográfico. Mesma palavra na entrada, vetor refinado diferente na saída, e a única coisa que mudou foram os vizinhos.

●/06 — significado · pumpkin labs
anim · 16:9 · t = 00:00.00
movimento no espaço de significado
self-attention · 06 / 06
De volta ao plano. "banco" começa no centro.
Ele
deixou
o
dinheiro
no
banco
espaço de significado · esquemático
◄ instituição financeira
lugar de sentar ►
banco
(0.0)
0:00.00
0:37.00

Esse ajuste é o entendimento de contexto, mecanicamente. Não há nenhum passo extra onde o modelo "compreende" a frase; a compreensão é exatamente isto: cada vetor saindo da atenção um pouco menos genérico e um pouco mais específico daquela frase em particular. A palavra deixa de significar o que significa no dicionário e passa a significar o que significa ali.

(Um detalhe, se você quiser o quadro completo: na prática o modelo roda várias atenções em paralelo na mesma camada, o multi-head attention. Cada "cabeça" tem seu próprio query, key e value, e tende a capturar um tipo diferente de relação: uma cuida de concordância gramatical, outra de ligar pronome a nome, outra de relação de sentido. O mecanismo é o mesmo desta seção, multiplicado.)

07 — A arquitetura

Como a self-attention se encaixa no Transformer (até a previsão do próximo token)

Tudo o que a gente abriu até aqui (query, key, value, produto escalar, softmax, a mistura dos values) é um passo de atenção. Uma camada. O modelo inteiro, o Transformer, é uma pilha dessas camadas, uma em cima da outra.

Entre uma atenção e a seguinte fica um outro bloco, a MLP (uma rede que processa cada token por conta própria, sem olhar os vizinhos). Não é o assunto deste post: basta saber que ela existe e que reparte o trabalho com a atenção em cada camada. Cada camada pega os embeddings que a anterior refinou e refina de novo, um pouco mais. "Banco" sai da primeira camada já inclinado para o financeiro; nas camadas seguintes, esse sentido se afina e se conecta ao resto da frase.

No fim da pilha, sobra um último passo, e ele fecha o arco que abriu o post.

O embedding já totalmente refinado do último token é multiplicado pela matriz de unembedding, que dá uma nota a cada palavra do vocabulário inteiro. O softmax transforma essas notas em probabilidades, e o modelo escolhe o próximo token. (Curiosidade: a matriz de unembedding costuma ser a própria tabela de embeddings rodada ao contrário, a mesma ponte entre palavra e vetor, atravessada no sentido de volta.)

E é esta a tese, fechada: "cada palavra olha para todas as outras" vira "a próxima palavra aparece". A self-attention espalha o contexto por todos os tokens; a última multiplicação colhe o resultado no token final e o transforma numa aposta sobre o que vem a seguir.

Sobram peças que este post deixa nomeadas mas não abre: o layer norm e o residual stream, que mantêm a pilha estável e treinável. Saber que existem já basta; explicá-las é trabalho de outro texto.

08 — A origem

Por que "Attention Is All You Need" mudou a IA em 2017

O paper que jogou fora a leitura palavra por palavra tinha um título que era, ele mesmo, a provocação: Attention Is All You Need. A atenção é tudo de que você precisa. A afirmação era literal: joguem fora a recorrência, a leitura sequencial palavra por palavra, e fiquem só com a atenção. Parecia ousado demais. Funcionou.

O modelo que nasceu dali, o Transformer, fazia o que a arquitetura recorrente não conseguia: olhava a frase inteira de uma vez, em paralelo, e ligava uma palavra a outra a qualquer distância sem perder o fio no caminho. Tinha sido desenhado para um problema específico, tradução automática. Em poucos anos, tinha engolido o campo inteiro: texto, código, imagem, áudio. Praticamente todo LLM que você usa hoje é um Transformer, e no coração de cada um está a operação deste post.

A tese, então, é esta: foi a self-attention que tornou o contexto possível. Antes dela, o sentido de uma palavra desbotava antes de alcançar a próxima. Depois dela, cada palavra reescreve o próprio significado a partir das vizinhas, dentro da frase, na hora.

E é justo aqui que o próximo post começa. Se o contexto consegue reescrever a representação de cada palavra durante a leitura, sem treinar nada, então exemplos colocados no próprio prompt também podem moldar o que o modelo faz, sem ajustar um único peso. Isso tem nome, in-context learning, e é o próximo da série.

FAQ · Perguntas frequentes

O que é self-attention?

Self-attention é o mecanismo que deixa cada palavra de uma frase olhar para todas as outras ao mesmo tempo e decidir, sozinha, quais importam para o seu significado. O "self" vem daí: a frase está prestando atenção em si mesma, em vez de comparar duas sequências diferentes. É o que substituiu a leitura palavra por palavra dos modelos antigos e o que deu aos LLMs a capacidade de lidar com contexto.

O que são query, key e value na atenção?

São três vetores que cada token gera ao passar seu embedding por três matrizes aprendidas. A query é a pergunta que a palavra faz ("o que eu procuro?"), a key é o rótulo que ela anuncia aos outros ("isto é o que eu ofereço?") e o value é o conteúdo que ela entrega se for escolhida. Query e key decidem o quanto cada palavra importa para cada outra; o value é o que de fato circula.

De onde vêm os vetores query, key e value?

De três matrizes aprendidas, chamadas W_Q, W_K e W_V. Cada token entra como um embedding (um vetor) e o modelo multiplica esse vetor por cada uma das três matrizes para gerar a query, a key e o value daquele token. As matrizes são parâmetros ajustados no treino e iguais para todas as posições da frase; cada uma aprendeu a extrair do embedding um aspecto diferente. É por isso que três vetores com papéis distintos nascem de um único embedding.

O que é o produto escalar no cálculo da atenção?

O produto escalar entre dois vetores é um número só que mede o quanto eles apontam na mesma direção: alto quando estão alinhados, perto de zero quando não têm relação. Na atenção, a query de uma palavra é comparada com a key de cada outra por produto escalar, e o resultado é a nota de compatibilidade entre as duas: o quanto uma deve levar a outra em conta.

Para que serve o softmax na atenção?

O softmax transforma a linha de notas brutas de uma palavra em pesos que somam 1, ou seja, em porcentagens. Uma nota de 8,3 não diz nada sozinha; o softmax converte o conjunto de notas em proporção: de tudo o que a palavra poderia olhar, que fatia da atenção vai para cada uma das outras. A soma de cada linha dá 100%.

Por que a atenção tem custo quadrático?

Porque ela compara cada token com todos os outros. Com n tokens, isso forma uma grade n × n, ou seja, n² células. Tanto a memória para guardá-la quanto o cálculo para preenchê-la crescem com o quadrado do tamanho do contexto: dobrar o contexto quadruplica o trabalho de atenção. É a razão concreta de janelas de contexto terem limite e de prompts longos ficarem caros rápido.

O que são os value vectors?

São os vetores que carregam o conteúdo de cada palavra. Query e key só decidem o quanto cada palavra importa para cada outra; eles nunca movem informação. Quem move é o value. A saída de cada token é a mistura ponderada dos values de todas as palavras, cada um na proporção da atenção que recebeu. Query e key são o "quanto"; value é o "o quê".

O que é um embedding refinado?

É o embedding que sai da atenção com o significado já atualizado pelo contexto. A palavra entra como um vetor genérico e sai como um vetor ajustado pelos vizinhos: "banco" ao lado de "rio" sai puxado para o sentido geográfico; "banco" ao lado de "dinheiro" sai puxado para o financeiro. Mesma palavra na entrada, vetor diferente na saída, e é isso que, mecanicamente, significa entender o contexto.

O que é multi-head attention?

É rodar várias atenções em paralelo na mesma camada, cada uma com seu próprio conjunto de query, key e value. Cada "cabeça" tende a capturar um tipo diferente de relação (concordância gramatical, ligação de pronome, relação semântica), e os resultados são combinados. Uma única atenção já explica o mecanismo; o multi-head só multiplica quantas relações o modelo consegue olhar de uma vez.

Como a atenção leva à previsão do próximo token?

Depois de passar por todas as camadas, o embedding já refinado do último token é multiplicado pela matriz de unembedding, que dá uma nota a cada palavra do vocabulário. O softmax transforma essas notas em probabilidades e o modelo escolhe o próximo token. É assim que "cada palavra olha para todas as outras" vira "a próxima palavra aparece".

Por que 'Attention Is All You Need' mudou a IA?

Porque o paper de 2017 jogou fora a recorrência (a leitura sequencial, palavra por palavra) e mostrou que só a atenção bastava. O próprio título era a provocação. O modelo resultante, o Transformer, podia processar a frase inteira em paralelo e captar relações de longa distância sem perder o fio. Nascido para tradução, virou a base de praticamente todos os LLMs modernos.
Glossário rápido
Self-attention
Mecanismo em que cada palavra de uma frase olha para todas as outras da mesma frase e decide quanto cada uma importa para o seu significado.
Query (Q)
Vetor que representa a pergunta de uma palavra: o que ela está procurando nas outras.
Key (K)
Vetor que representa o rótulo que uma palavra anuncia às outras: o que ela tem a oferecer.
Value (V)
Vetor que representa o conteúdo que uma palavra entrega quando é considerada relevante. É o que de fato circula na atenção.
Matrizes W_Q, W_K e W_V
As três matrizes aprendidas que projetam o embedding de cada token em query, key e value. São parâmetros do modelo, iguais para todas as posições da frase.
Produto escalar
Operação entre dois vetores que devolve um número só, medindo o quanto eles apontam na mesma direção. Na atenção, é a nota de compatibilidade entre uma query e uma key.
Softmax
Função que transforma um conjunto de notas em pesos que somam 1. Converte as notas de atenção de uma palavra em porcentagens.
Matriz de atenção
A grade n × n com o peso de atenção de cada par de palavras. Cada linha soma 100%.
Custo quadrático
O fato de a atenção crescer com o quadrado do número de tokens (n²), porque compara cada token com todos os outros.
Embedding refinado
O vetor de uma palavra depois da atenção, com o significado já ajustado pelo contexto à volta.
Multi-head attention
Várias atenções rodando em paralelo na mesma camada, cada uma capturando um tipo diferente de relação entre as palavras.
Unembedding
Multiplicação final que transforma o embedding do último token em uma nota para cada palavra do vocabulário, base da escolha do próximo token.
Transformer
Arquitetura que empilha camadas de atenção e MLP. É a base da maioria dos LLMs modernos, introduzida em 2017.
Referências
  • Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin. Attention Is All You Need. NeurIPS, 2017. (arXiv 1706.03762)
  • Bahdanau, Cho, Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015. (arXiv 1409.0473)
  • Elhage et al. (Anthropic). A Mathematical Framework for Transformer Circuits. 2021.
Sexto post da série Pumpkin Explica, e o primeiro de um arco mais fundo sobre o que acontece dentro do modelo. Vimos o contexto reescrever cada palavra durante a leitura, sem treino nenhum. No próximo, esse mesmo poder vira ferramenta: exemplos no prompt que moldam a resposta sem ajustar um único peso. O nome disso é in-context learning.

Gostou do conteúdo?

Entre em contato conosco para descobrir como implementar essas soluções na sua empresa.