Inference Server.
En françaisserveur d’inférenceAussi : model serving · serveur de modèlesExemples : vLLM · Text Generation Inference (TGI) · llama.cpp server
Logiciel qui charge un modèle et répond à de nombreuses requêtes de génération en parallèle via une API.
Valeurs clés
exemples : vLLM, Text Generation Inference, llama.cpp server, Ollama
Explication
Il regroupe dynamiquement les requêtes (continuous batching), gère le cache KV (par exemple avec PagedAttention), diffuse les tokens et expose souvent une API compatible OpenAI.
Exemple
Une équipe sert un modèle ouvert avec vLLM derrière son application interne.
Limites
Exploitation, mise à l’échelle, sécurité et coûts GPU restent à la charge de l’équipe.
Usages métiers
- Hébergement privé de modèles
Métiers associés
- Ingénieur MLOps
- SRE
Compétences mobilisées
- Conteneurs
- Observabilité
Notions liées
Chaque ligne se lit comme une phrase : « Inference Server utilise Key-Value Cache ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le