Speculative Decoding.
En françaisdécodage spéculatifAussi : assisted generation · génération assistée · draft model
Technique où un petit modèle propose plusieurs tokens que le grand modèle vérifie en une seule passe.
Valeurs clés
accélération de 2 à 3 × rapportée, sortie identique au modèle cible
Explication
Le petit modèle « brouillon » devine vite la suite ; le grand modèle valide en parallèle les tokens corrects et corrige le premier faux. La distribution finale reste celle du grand modèle.
Exemple
Un modèle de 1 G de paramètres sert de brouillon à un modèle de 70 G.
Limites
Le gain dépend du taux d’acceptation des propositions ; il faut deux modèles compatibles (même tokenizer).
Usages métiers
- Réduire la latence
Métiers associés
- Ingénieur inférence
Compétences mobilisées
- Optimisation d’inférence
Notions liées
- amélioreInferenceinférence
- amélioreLatencylatence
- utiliseKnowledge Distillationdistillation de connaissances
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le