End-of-Sequence Token (EOS).
En françaistoken de finAussi : end-of-text token · token de fin de séquenceExemples : <|endoftext|> (GPT-2) · <|im_end|> (ChatML)
Token spécial que le modèle a appris à produire quand sa réponse est terminée.
Explication
La boucle de génération ne sait pas s’arrêter seule. Pendant l’entraînement, chaque texte ou chaque tour de conversation se termine par ce token : le modèle apprend à le prédire au bon moment. Le moteur d’inférence arrête la boucle dès qu’il apparaît.
Exemple
Dans le projet MiniLab, l’assistant fine-tuné termine sa phrase par <|im_end|> : le serveur renvoie alors finish_reason = "stop".
Limites
Un modèle de base, jamais entraîné à fermer un tour de conversation, peut ne jamais le produire : il faut alors une limite de tokens.
Notions liées
Chaque ligne se lit comme une phrase : « End-of-Sequence Token est un type de Special Tokens ».
- est un type deSpecial Tokenstokens spéciaux
- voir aussiFinish Reasonraison d’arrêt
- voir aussiStop Sequenceséquence d’arrêt
- voir aussiMax Tokenslongueur maximale de sortie
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le