Multi-Head Attention (MHA).
En françaisattention multi-têtesAussi : têtes d’attention · attention heads
Variante de l’attention qui exécute plusieurs attentions en parallèle, chacune dans un sous-espace, puis concatène leurs sorties.
Valeurs clés
Transformer original : 8 têtes, d_k = d_model / têtes = 64
Explication
Chaque tête dispose de ses propres projections Q, K et V et peut se spécialiser sur un type de relation : syntaxe, coréférence, position. Les sorties sont concaténées puis projetées vers la dimension du modèle.
Exemple
Une tête suit le mot précédent tandis qu’une autre relie un pronom à son antécédent.
Limites
La spécialisation des têtes n’est ni garantie ni toujours interprétable ; plus de têtes ne signifie pas un meilleur modèle.
Usages métiers
- Blocs Transformer
Métiers associés
- Chercheur ML
Compétences mobilisées
- Architecture de réseaux
Notions liées
- s’appuie surSelf-Attentionauto-attention
- alternative àGQA — Grouped-Query Attentionattention à requêtes groupées
- fait partie deTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le