Next-Token Prediction.
En françaisprédiction du token suivantAussi : causal language modeling · modélisation causale du langage
Tâche de base d’un LLM : à partir du contexte, calculer la probabilité de chaque token possible pour la position suivante.
Valeurs clés
p(t₁…tₙ) = Π p(tᵢ | t₁…tᵢ₋₁)
Explication
La génération répète cette prédiction : on choisit un token, on l’ajoute au contexte, puis on recommence. C’est la même tâche qui sert d’objectif pendant le pré-entraînement.
Exemple
Après « Le chat dort sur le », le modèle donne une forte probabilité à « canapé ».
Limites
Le modèle optimise la vraisemblance du texte, pas sa vérité ; une erreur précoce se propage à la suite.
Usages métiers
- Génération de texte
Métiers associés
- Chercheur ML
Compétences mobilisées
- Probabilités
Notions liées
Chaque ligne se lit comme une phrase : « Next-Token Prediction est un type de Self-supervised Learning ».
- est un type deSelf-supervised Learningapprentissage auto-supervisé
- utiliseLogitslogits
- voir aussiAutoregressive Generationgénération autorégressive
- voir aussiDecoder-only Architecturearchitecture décodeur seul
- voir aussiN-gramn-gramme
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le