Self-Attention.
En françaisauto-attentionAussi : attention · scaled dot-product attention · attention par produit scalaire
Mécanisme par lequel chaque token calcule, pour tous les autres tokens du contexte, un poids d’importance puis mélange leurs informations.
Valeurs clés
Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V · coût en O(n²) pour n tokens
Explication
Chaque token produit une requête (query), une clé (key) et une valeur (value). Le produit scalaire requête × clé, divisé par √d_k puis passé dans un softmax, donne les poids d’attention ; la sortie est la moyenne pondérée des valeurs.
Exemple
Dans « Le chat dort car il est fatigué », le token « il » donne un poids élevé à « chat ».
Limites
Les poids d’attention ne sont pas une explication fiable du raisonnement du modèle ; la matrice n × n devient coûteuse sur de longs contextes.
Usages métiers
- Relier les mots d’une phrase
- Modèles de langage
Métiers associés
- Chercheur ML
- Ingénieur IA
Compétences mobilisées
- Produit matriciel
- Softmax
Notions liées
- fait partie deMHA — Multi-Head Attentionattention multi-têtes
- utiliseCausal Maskmasque causal
- utiliseSoftmaxsoftmax
- fait partie deTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le