Prefill / Decode.
En françaispré-remplissage / décodageAussi : prompt processing · phase de decode
Les deux phases d’une génération : lire tout le prompt en parallèle, puis produire la réponse un token à la fois.
Valeurs clés
prefill : fixe le délai du premier token · decode : fixe le débit en tokens par seconde
Explication
Pendant le prefill, tous les tokens du prompt sont connus : le modèle les traite ensemble et remplit le cache KV. Pendant le decode, chaque passage ne traite qu’un nouveau token, en s’appuyant sur le cache. La première phase est limitée par la puissance de calcul, la seconde par la vitesse de lecture de la mémoire.
Exemple
Pour 8 tokens générés après un prompt de 13 tokens : un passage de prefill sur 13 tokens, puis 7 passages de decode d’un token.
Limites
Le mot « decode » désigne ici un moment de l’inférence, pas la stratégie de décodage ni la détokenisation.
Notions liées
Chaque ligne se lit comme une phrase : « Prefill / Decode fait partie de Inference ».
- fait partie deInferenceinférence
- utiliseKV cache — Key-Value Cachecache des clés et des valeurs
- voir aussiTTFT — Time to First Tokendélai du premier token
- voir aussiThroughputdébit
- voir aussiLatencylatence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le