Continuous Batching.
En françaistraitement par lots continuAussi : dynamic batching · lots dynamiques
Technique de serveur qui fait avancer plusieurs requêtes dans le même passage du modèle, en les ajoutant et en les retirant à la volée.
Explication
Un GPU traite un lot de séquences presque aussi vite qu’une seule. Le serveur regroupe donc les requêtes en cours ; dès qu’une réponse se termine, sa place est donnée à une requête en attente, sans attendre la fin du lot.
Exemple
Un serveur vLLM sert trente conversations en même temps sur une seule carte graphique.
Limites
Le débit total augmente, mais chaque requête ralentit un peu quand le serveur est très chargé.
Notions liées
Chaque ligne se lit comme une phrase : « Continuous Batching fait partie de Inference Server ».
- fait partie deInference Serverserveur d’inférence
- voir aussiThroughputdébit
- voir aussiKV cache — Key-Value Cachecache des clés et des valeurs
- voir aussiLatencylatence
- voir aussiGPU — Graphics Processing Unitprocesseur graphique
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le