Query, Key, Value (QKV).
En françaisrequête, clé, valeurAussi : Q, K, V · projections d’attention
Les trois vecteurs que chaque token calcule pour l’attention : ce qu’il cherche, ce qu’il annonce, ce qu’il transmet.
Valeurs clés
q = x · W_Q · k = x · W_K · v = x · W_V · score = q · k ÷ √d_k
Explication
La requête d’un token est comparée aux clés de tous les tokens visibles : le produit scalaire donne un score, softmax en fait des poids. La sortie est la somme des valeurs, pondérée par ces poids. Les trois matrices W_Q, W_K et W_V sont apprises.
Exemple
Pour le « t » de « chat », la requête du « t » est comparée aux clés de « c », « h », « a » et « t » ; la sortie mélange leurs valeurs selon les poids obtenus.
Limites
L’image « question, étiquette, contenu » aide à comprendre, mais ces vecteurs sont de simples projections apprises, sans signification lisible dimension par dimension.
Notions liées
Chaque ligne se lit comme une phrase : « Query, Key, Value fait partie de Self-Attention ».
- fait partie deSelf-Attentionauto-attention
- voir aussiKV cache — Key-Value Cachecache des clés et des valeurs
- voir aussiMHA — Multi-Head Attentionattention multi-têtes
- voir aussiSoftmaxsoftmax
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le