Grouped-Query Attention (GQA).
En françaisattention à requêtes groupéesAussi : MQA · multi-query attention
Variante de l’attention où plusieurs têtes de requête partagent les mêmes clés et valeurs.
Valeurs clés
Llama 2 70B : 64 têtes de requête pour 8 têtes clé-valeur → cache KV 8 × plus petit
Explication
Le cache KV grossit avec le nombre de têtes clé-valeur. En les regroupant, GQA réduit fortement la mémoire et accélère la génération, avec une perte de qualité faible. MQA est le cas extrême d’une seule tête clé-valeur.
Exemple
Un serveur peut traiter plus de conversations en parallèle grâce à un cache KV réduit.
Limites
Le gain dépend du moteur d’inférence ; trop peu de têtes clé-valeur peut dégrader la qualité.
Usages métiers
- Inférence à grande échelle
Métiers associés
- Ingénieur inférence
Compétences mobilisées
- Optimisation mémoire
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le