Prompt Caching.
En françaismise en cache du promptAussi : prefix caching · cache de préfixe
Réutilisation des calculs d’un début de prompt identique d’une requête à l’autre.
Valeurs clés
OpenAI : automatique à partir de 1 024 tokens de préfixe identique
Explication
Le serveur garde le cache KV d’un préfixe déjà traité (consignes système, documents). Les requêtes suivantes qui commencent pareil sont plus rapides et moins chères.
Exemple
Placer les instructions fixes au début et la question variable à la fin maximise les réutilisations.
Limites
Le moindre changement au début du prompt invalide le cache ; durée de conservation limitée.
Usages métiers
- Réduire coût et latence
Métiers associés
- Développeur IA
Compétences mobilisées
- Optimisation d’API
Notions liées
- s’appuie surKV cache — Key-Value Cachecache des clés et des valeurs
- amélioreLatencylatence
- utiliseSystem Promptmessage système
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le