Special Tokens.
En françaistokens spéciauxAussi : BOS · EOS · PAD · tokens de contrôle
Tokens réservés qui ne représentent pas du texte mais une structure : début, fin, remplissage ou rôle d’un message.
Valeurs clés
GPT-2 : <|endoftext|> (id 50 256) · ChatML : <|im_start|>, <|im_end|>
Explication
Le token de fin (EOS) indique au modèle qu’il peut s’arrêter ; d’autres délimitent les messages d’une conversation. Ils sont ajoutés par le tokenizer ou par le chat template.
Exemple
La génération s’arrête dès que le modèle produit le token de fin de message.
Limites
Ils diffèrent d’un modèle à l’autre ; les mélanger produit des réponses qui ne s’arrêtent pas ou incohérentes.
Usages métiers
- Formater des conversations
Métiers associés
- Ingénieur NLP
Compétences mobilisées
- Tokenisation
Notions liées
- fait partie deChat Templategabarit de conversation
- fait partie deTokenizertokeniseur
- alternative àStop Sequenceséquence d’arrêt
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le