Key-Value Cache (KV cache).
En françaiscache des clés et des valeursAussi : cache KV
Mémoire temporaire des clés et valeurs d’attention calculées pour les tokens déjà traités.
Valeurs clés
taille ≈ 2 × couches × têtes KV × dim. de tête × tokens × octets
Explication
Pendant la génération autoregressive, le cache évite de recalculer certaines projections pour tout le préfixe à chaque nouveau token. Il accélère souvent le décodage au prix d’une consommation mémoire croissante avec la longueur et le nombre de séquences.
Exemple
Le serveur conserve les états d’attention du prompt pendant qu’il génère la réponse.
Limites
La mémoire du cache peut devenir un goulot d’étranglement ; son comportement varie selon l’architecture et le moteur.
Usages métiers
- Accélération du décodage
Métiers associés
- Ingénieur inférence
- Ingénieur plateforme
Compétences mobilisées
- Architecture Transformer
- Optimisation mémoire
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le