Similaridade semântica: como o cosseno funciona e onde falha
Quando você pergunta "geladeira frost free até R$ 3.000" a um sistema de busca semântica, ele costuma devolver qualquer geladeira, ignorando o preço ou o atributo. O motivo está na matemática que ele usa: a similaridade de cosseno entre vetores de embedding. Este post explica o que é um embedding, como o cosseno compara textos, por que essa medida é a padrão e, principalmente, por que ela quebra em perguntas de e-commerce. O embedding da pergunta fica próximo de chunks genéricos sobre geladeiras, mas distante de chunks que especificam preço exato ou "frost free", porque o cosseno mede proximidade de tópico, não se as restrições foram atendidas. A solução não está no modelo, está em como a gente estrutura a busca.
Você pergunta "geladeira frost free até R$ 3.000". O sistema de busca semântica devolve resultados de geladeiras caras ou sem a característica frost free. O problema não está no modelo de linguagem, está na matemática que ele usa para comparar textos: a similaridade de cosseno.
Todo sistema de recuperação de informação que usa embeddings trabalha com a mesma ideia básica. Um texto, seja uma pergunta ou um trecho de catálogo, é convertido num vetor de números, o embedding, que representa o significado de forma abstrata. Depois, para encontrar o que é relevante, o sistema compara vetores: quanto mais próximos, mais semelhantes semanticamente. O problema é que essa comparação usa uma medida que não foi projetada para o tipo de precisão que uma loja online exige. Uma geladeira frost free de R$ 2.500 e uma geladeira normal de R$ 5.000 geram embeddings muito próximos, porque ambas são "geladeira", enquanto a restrição de preço e o atributo "frost free" são detalhes que o vetor não consegue separar bem.
O que é similaridade semântica e como ela funciona com embeddings?
Um embedding é uma lista de números, normalmente centenas ou milhares, que um modelo de linguagem produz para representar o significado de um texto. Pense nele como as coordenadas de um ponto num espaço multidimensional. Diferente de um mapa geográfico, onde cada eixo significa latitude ou longitude, aqui cada eixo é uma dimensão de significado que o modelo aprendeu sozinho durante o treino: uma dimensão pode capturar se o texto fala de eletrodomésticos, outra se fala de preços, outra se fala de características técnicas. O modelo não sabe nomear essas dimensões, mas elas existem.
O que importa é que textos com significado parecido ficam em pontos próximos nesse espaço. A pergunta "geladeira frost free até R$ 3.000" gera um embedding que, por ser dominado pela palavra "geladeira", fica perto de qualquer outro embedding que contenha essa palavra, mesmo que o resto do contexto seja diferente. Um chunk de catálogo que diz "geladeira frost free 400 litros" e outro que diz "geladeira simples 200 litros" vão ter vetores próximos, porque ambos giram em torno do mesmo tópico principal. Já um chunk que especifica "preço: R$ 2.500" sem a palavra "geladeira" pode ficar mais distante, porque a direção do vetor é diferente, mesmo que o preço seja relevante para a pergunta.
Como a similaridade de cosseno mede a similaridade semântica?
A similaridade de cosseno é a medida mais usada para comparar embeddings. Ela calcula o cosseno do ângulo entre dois vetores, ignorando o comprimento de cada um. A fórmula é esta:
Vale abrir cada peça, porque é nelas que a limitação aparece depois. O numerador, , é o produto escalar: você multiplica as duas coordenadas de cada dimensão e soma tudo, ou seja, . Ele cresce quando as duas coordenadas têm o mesmo sinal na mesma dimensão, então mede o quanto os vetores concordam, dimensão a dimensão. O denominador é o produto das normas, e a norma é o comprimento do vetor, a raiz quadrada de . Dividir pelo comprimento dos dois é o que transforma uma medida de concordância bruta numa medida de direção pura, presa no intervalo de -1 a 1.
Um exemplo pequeno deixa isso concreto. Imagine três dimensões que representam, nessa ordem, "é geladeira", "é frost free" e "é barata". A pergunta vira o vetor , e um chunk sobre uma geladeira frost free cara vira . O produto escalar soma dimensão a dimensão e dá 2, porque as duas primeiras coincidem e a terceira zera. A norma de é , cerca de 1,73, e a de é , cerca de 1,41. O cosseno, então, é 2 dividido por 1,73 vezes 1,41, o que dá aproximadamente 0,82.
Guarde esse 0,82. O chunk erra exatamente a restrição que o cliente colocou, o preço, e ainda assim marca 82% de similaridade, porque acerta as duas dimensões de tópico. É um número alto o bastante para entrar tranquilamente no topo de qualquer recuperação, e é por isso que o problema não aparece nos testes: o sistema não devolve lixo, devolve algo quase certo.
Essa medida é popular porque não depende do tamanho do vetor. Dois textos de comprimentos muito diferentes podem ter normas distintas, mas se a direção do significado for parecida, o cosseno será alto. Por exemplo, a frase curta "geladeira frost free" e a descrição longa "geladeira com tecnologia frost free, 400 litros, cor inox" têm direções semelhantes, mesmo que o segundo vetor seja maior. O cosseno lida bem com isso.
O problema está no que a direção representa. O vetor de "geladeira frost free até R$ 3.000" é uma média dos vetores de cada token, ponderada pela atenção. A direção dominante vem do tópico principal, "geladeira", enquanto "até R$ 3.000" contribui com um desvio pequeno. O ângulo entre esse vetor e o de "geladeira frost free 400 litros" é pequeno, porque ambos têm a mesma direção principal. Já o ângulo com "preço R$ 2.500" é grande, porque a direção desse vetor é outra, mesmo que a informação de preço seja exatamente o que a pergunta pede.
O cosseno trata "geladeira frost free até R$ 3.000" e "geladeira frost free 400 litros" como quase a mesma coisa, porque a direção principal é a mesma.
Por que a similaridade semântica usa cosseno e não outra medida?
Existem outras formas de comparar vetores, mas cada uma tem suas limitações. A distância euclidiana mede a distância em linha reta entre dois pontos no espaço. Ela é sensível à magnitude: dois vetores que apontam na mesma direção mas têm comprimentos muito diferentes vão ter uma distância grande, mesmo que o significado seja semelhante. No e-commerce, descrições longas e curtas convivem, e a distância euclidiana penaliza descrições curtas, que têm norma menor, mesmo que sejam semanticamente relevantes.
O produto escalar simples é outra alternativa. Ele é a soma dos produtos das coordenadas correspondentes. O problema é que ele favorece vetores longos: textos com muitas palavras ou com palavras muito ativadas geram embeddings de norma maior e dominam a comparação. No exemplo da geladeira, uma página de produto completa com 500 palavras teria um produto escalar alto com a pergunta simplesmente por ser longo, não por ser relevante.
O cosseno resolve esses dois problemas ao normalizar pela norma, tornando a comparação puramente angular. É por isso que ele é a escolha padrão em sistemas de RAG e busca semântica. Mas a normalização também é a fonte da falha: ao descartar a magnitude, ela joga fora a informação sobre a intensidade com que cada dimensão está presente. No caso da pergunta com restrições, a direção captura o tópico, mas não a especificidade das restrições. O cosseno trata "geladeira frost free até R$ 3.000" e "geladeira frost free 400 litros" como quase a mesma coisa, porque a direção principal é a mesma.
Por que a similaridade semântica quebra em perguntas de loja?
A raiz do problema é que a similaridade de cosseno não é uma função de matching booleano. Ela não verifica se uma condição foi satisfeita, ela apenas mede proximidade de direção. Para uma pergunta de e-commerce, o que importa não é a direção média, mas a presença de atributos específicos: preço máximo, marca, funcionalidade. O embedding da pergunta, por ser uma composição de tokens, acaba sendo dominado pelos termos mais frequentes ou mais salientes, que são os termos de categoria, como "geladeira". Os termos de restrição, como "até R$ 3.000", têm peso menor na direção final.
Isso é agravado porque os modelos de embedding são treinados em pares de texto semanticamente relacionados, mas não são treinados para entender restrições numéricas ou lógicas. Um par como "geladeira frost free" e "geladeira frost free 400 litros" é considerado semelhante, e o modelo aprende a aproximar esses vetores. Já um par como "geladeira frost free até R$ 3.000" e "geladeira frost free R$ 2.500" não é comum nos dados de treino, porque a similaridade semântica clássica não considera preço como um fator de proximidade. O modelo nunca aprendeu a colocar esses vetores perto um do outro.
A similaridade de cosseno não é uma função de matching booleano. Ela mede proximidade de direção, não satisfação de restrições.
O resultado é que o cosseno falha de forma sistemática: ele recupera chunks que são sobre o tópico certo, mas não necessariamente sobre a instância certa. Isso é aceitável para perguntas abertas, como "o que é uma geladeira frost free?", mas desastroso para perguntas de compra, onde as restrições são o que define a resposta correta. A pergunta "geladeira frost free até R$ 3.000" devolve geladeiras de qualquer preço, e o usuário precisa filtrar manualmente, o que quebra a promessa de uma busca inteligente.
Como contornar as limitações da similaridade semântica?
O caminho que funciona não é consertar o cosseno, é parar de pedir a ele o que ele não faz. A similaridade continua ótima para achar o tópico, e as restrições passam a ser tratadas por um mecanismo que não depende de ângulo entre vetores: um filtro exato, do tipo que um banco de dados faz há décadas. A pergunta é separada nas suas duas naturezas antes da busca, e cada parte vai para o mecanismo que sabe resolvê-la.
Na Pumpkin, é esse tipo de decisão que ocupa a maior parte do trabalho de engenharia de contexto: descobrir quais perguntas o modelo consegue responder sozinho e quais precisam de uma camada determinística por baixo. A escolha muda por domínio, porque o que conta como restrição num catálogo de eletrodomésticos não é o que conta num contrato ou num prontuário.
A lição é que a similaridade de cosseno não está errada, ela está sendo mal empregada. Ela responde "sobre o que este texto fala?" com precisão notável, e essa é uma pergunta diferente de "este produto satisfaz as condições que o cliente deu?". Quase todo sistema de busca que decepciona em produção está fazendo a segunda pergunta com uma ferramenta que só sabe responder a primeira.
O que é similaridade semântica?
Como a similaridade de cosseno funciona na prática?
Por que a similaridade semântica falha em perguntas de e-commerce?
Qual a diferença entre similaridade semântica e matching booleano?
Como resolver as limitações da similaridade semântica em sistemas de busca?
- Mikolov, T. et al. Efficient Estimation of Word Representations in Vector Space. ICLR, 2013.
- Pennington, J., Socher, R. e Manning, C. GloVe: Global Vectors for Word Representation. EMNLP, 2014.
- Reimers, N. e Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP, 2019.
- Karpukhin, V. et al. Dense Passage Retrieval for Open-Domain Question Answering. EMNLP, 2020.
- Lewis, P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020.