Inference.
En françaisinférenceAussi : exécution du modèle · génération en production
Exécution d’un modèle entraîné pour produire une prédiction ou une génération.
Valeurs clés
deux phases : prefill (lecture du prompt) puis decode (un token à la fois)
Explication
À l’inférence, les paramètres appris sont utilisés sur de nouvelles entrées. Pour la génération, le modèle produit généralement les tokens successifs selon une stratégie de décodage.
Exemple
Un serveur charge les poids du modèle et traite une requête de résumé.
Limites
La latence, la mémoire, le débit, la précision et le coût dépendent du matériel et du logiciel de service.
Usages métiers
- Déploiement de prédictions et générations
Métiers associés
- Ingénieur plateforme ML
- SRE
Compétences mobilisées
- Servir des modèles
- Mesure de latence
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le