Autoregressive Generation.
En françaisgénération autorégressiveAussi : boucle autorégressive · autoregressive decoding
Boucle de génération où chaque token produit est ajouté au texte et devient une entrée pour prédire le suivant.
Explication
La prédiction du token suivant ne donne qu’un token. Pour écrire une phrase, on répète : prédire, choisir un token, l’ajouter au contexte, recommencer. Le modèle relit donc ce qu’il vient d’écrire. C’est cette boucle, et non la prédiction elle-même, que désigne le mot « autorégressif ».
Exemple
Après « Phileas », le modèle produit « Fogg », puis relit « Phileas Fogg » pour produire le token suivant.
Limites
Une erreur tôt dans la boucle se propage : le modèle construit la suite sur ce qu’il a déjà écrit, sans pouvoir revenir en arrière.
Notions liées
Chaque ligne se lit comme une phrase : « Autoregressive Generation utilise Next-Token Prediction ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le