Causal Mask.
En françaismasque causalAussi : look-ahead mask · attention causale
Masque qui empêche chaque token de regarder les tokens situés après lui dans la séquence.
Valeurs clés
scores au-dessus de la diagonale mis à −∞ avant le softmax → poids 0
Explication
Un modèle qui prédit le token suivant ne doit pas voir la réponse pendant l’entraînement. Le masque met à −∞ les scores des positions futures : après le softmax, leur poids vaut exactement zéro.
Exemple
Le 3ᵉ token peut regarder les tokens 1, 2 et 3, mais pas le 4ᵉ.
Limites
Il impose une lecture de gauche à droite ; les modèles encodeurs comme BERT utilisent une attention bidirectionnelle.
Usages métiers
- Entraînement autorégressif
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Manipulation de tenseurs
Notions liées
Chaque ligne se lit comme une phrase : « Causal Mask fait partie de Self-Attention ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le