Causal Mask.
En françaismasque causalAussi : masque d’attention · look-ahead mask · attention causale
Masque qui empêche chaque token de regarder les tokens situés après lui dans la séquence.
Valeurs clés
scores au-dessus de la diagonale mis à −∞ avant le softmax → poids 0
Explication
Un modèle qui prédit le token suivant ne doit pas voir la réponse pendant l’entraînement. Le masque met à −∞ les scores des positions futures : après le softmax, leur poids vaut exactement zéro.
Exemple
Le 3ᵉ token peut regarder les tokens 1, 2 et 3, mais pas le 4ᵉ.
Limites
Il impose une lecture de gauche à droite ; les modèles encodeurs comme BERT utilisent une attention bidirectionnelle.
Usages métiers
- Entraînement autorégressif
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Manipulation de tenseurs
Notions liées
- fait partie deSelf-Attentionauto-attention
- fait partie deDecoder-only Architecturearchitecture décodeur seul
- amélioreNext-Token Predictionprédiction du token suivant
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le