Time to First Token (TTFT).
En françaisdélai du premier tokenAussi : latence du premier token
Temps écoulé entre l’envoi d’une requête et l’apparition du premier token de la réponse.
Valeurs clés
TTFT = réseau + file d’attente + prefill (+ temps de réflexion pour un modèle de raisonnement)
Explication
C’est la mesure qui compte pour la sensation de rapidité : avec le streaming, l’utilisateur commence à lire dès ce moment. Il dépend surtout de la longueur du prompt et de la charge du serveur.
Exemple
Dans le laboratoire de la leçon 16, le premier token arrive après 0,33 s, pour une réponse complète en 3,87 s.
Limites
Un bon TTFT ne dit rien de la durée totale : il faut aussi mesurer le débit. Un modèle de raisonnement peut réfléchir longtemps avant son premier token visible.
Notions liées
Chaque ligne se lit comme une phrase : « Time to First Token fait partie de Latency ».
- fait partie deLatencylatence
- voir aussiPrefill / Decodepré-remplissage / décodage
- voir aussiStreamingdiffusion en continu
- voir aussiThroughputdébit
- voir aussiPrompt Cachingmise en cache du prompt
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le