Latency.
En françaislatenceAussi : TTFT · time to first token · délai du premier token · tokens par seconde · throughput
Temps d’attente entre l’envoi d’une requête et la réponse du modèle.
Valeurs clés
TTFT : délai du premier token · débit : tokens générés par seconde
Explication
Pour un LLM, on distingue le délai du premier token (lecture du prompt, ou prefill) et la vitesse de génération des suivants (decode). Taille du modèle, longueur du prompt et charge du serveur l’influencent.
Exemple
Un TTFT de 300 ms puis 50 tokens/s donne une réponse de 200 tokens en environ 4,3 s.
Limites
Les moyennes cachent les pics : mesurer aussi les percentiles (p95, p99).
Usages métiers
- Expérience utilisateur
- Dimensionnement
Métiers associés
- SRE
- Ingénieur performance
Compétences mobilisées
- Mesure de performance
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le