Inference Server.
En françaisserveur d’inférenceAussi : model serving · vLLM · TGI · continuous batching
Logiciel qui charge un modèle et répond à de nombreuses requêtes de génération en parallèle via une API.
Valeurs clés
exemples : vLLM, Text Generation Inference, llama.cpp server, Ollama
Explication
Il regroupe dynamiquement les requêtes (continuous batching), gère le cache KV (par exemple avec PagedAttention), diffuse les tokens et expose souvent une API compatible OpenAI.
Exemple
Une équipe sert un modèle ouvert avec vLLM derrière son application interne.
Limites
Exploitation, mise à l’échelle, sécurité et coûts GPU restent à la charge de l’équipe.
Usages métiers
- Hébergement privé de modèles
Métiers associés
- Ingénieur MLOps
- SRE
Compétences mobilisées
- Conteneurs
- Observabilité
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le