Next-Token Prediction.
En françaisprédiction du token suivantAussi : génération autorégressive · autoregressive generation · causal language modeling
Tâche de base d’un LLM : à partir du contexte, calculer la probabilité de chaque token possible pour la position suivante.
Valeurs clés
p(t₁…tₙ) = Π p(tᵢ | t₁…tᵢ₋₁)
Explication
La génération répète cette prédiction : on choisit un token, on l’ajoute au contexte, puis on recommence. C’est la même tâche qui sert d’objectif pendant le pré-entraînement.
Exemple
Après « Le chat dort sur le », le modèle donne une forte probabilité à « canapé ».
Limites
Le modèle optimise la vraisemblance du texte, pas sa vérité ; une erreur précoce se propage à la suite.
Usages métiers
- Génération de texte
Métiers associés
- Chercheur ML
Compétences mobilisées
- Probabilités
Notions liées
- utiliseLogitslogits
- fait partie dePretrainingpré-entraînement
- s’appuie surDecoder-only Architecturearchitecture décodeur seul
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le