Throughput.
En françaisdébitAussi : tokens par seconde · tokens per second · TPS
Nombre de tokens produits par seconde, pour une requête ou pour tout un serveur.
Valeurs clés
temps de réponse ≈ TTFT + tokens de sortie ÷ débit
Explication
Pour une requête, le débit mesure la vitesse de la phase de decode. Pour un serveur, il additionne toutes les requêtes servies en parallèle : c’est lui qui détermine le coût par token. Les deux ne s’optimisent pas de la même façon.
Exemple
À 50 tokens par seconde, une réponse de 200 tokens demande 4 secondes après le premier token.
Limites
Un débit élevé par serveur peut cacher une attente longue pour chaque utilisateur : regarder aussi le délai du premier token.
Notions liées
Chaque ligne se lit comme une phrase : « Throughput fait partie de Latency ».
- fait partie deLatencylatence
- voir aussiTTFT — Time to First Tokendélai du premier token
- voir aussiPrefill / Decodepré-remplissage / décodage
- voir aussiContinuous Batchingtraitement par lots continu
- voir aussiInference Serverserveur d’inférence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le