Key-Value Cache (KV cache).
En françaiscache des clés et des valeursAussi : cache KV
Mémoire temporaire des clés et valeurs d’attention calculées pour les tokens déjà traités.
Valeurs clés
taille ≈ 2 × couches × têtes KV × dim. de tête × tokens × octets
Explication
Pendant la génération autoregressive, le cache évite de recalculer certaines projections pour tout le préfixe à chaque nouveau token. Il accélère souvent le décodage au prix d’une consommation mémoire croissante avec la longueur et le nombre de séquences.
Exemple
Le serveur conserve les états d’attention du prompt pendant qu’il génère la réponse.
Limites
La mémoire du cache peut devenir un goulot d’étranglement ; son comportement varie selon l’architecture et le moteur.
Usages métiers
- Accélération du décodage
Métiers associés
- Ingénieur inférence
- Ingénieur plateforme
Compétences mobilisées
- Architecture Transformer
- Optimisation mémoire
Notions liées
Chaque ligne se lit comme une phrase : « Key-Value Cache fait partie de Inference ».
- fait partie deInferenceinférence
- utiliseQKV — Query, Key, Valuerequête, clé, valeur
- utiliseCausal Maskmasque causal
- voir aussiPrefill / Decodepré-remplissage / décodage
- voir aussiPrompt Cachingmise en cache du prompt
- voir aussiGQA — Grouped-Query Attentionattention à requêtes groupées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le