Tokenizer.
En françaistokeniseurAussi : tokenization · tokenisation
Composant qui découpe le texte en tokens et fait la conversion inverse.
Explication
L’encodage transforme le texte en identifiants reconnus par le modèle. Le décodage reconstruit du texte à partir des identifiants. On évite ici les mots « encodeur » et « décodeur », déjà pris par l’architecture des Transformers. Les tokens spéciaux peuvent délimiter des messages, des rôles ou des tâches.
Exemple
Le tokenizer encode « les modèles apprennent » en une séquence d’identifiants numériques.
Limites
Changer de tokenizer sans adapter le modèle rend généralement les identifiants incompatibles.
Usages métiers
- Préparer les entrées du modèle
- Compter les tokens
Métiers associés
- Ingénieur NLP
- Développeur IA
Compétences mobilisées
- Traitement automatique des langues
- Encodage et décodage
Notions liées
Chaque ligne se lit comme une phrase : « Tokenizer utilise Vocabulary ».
- utiliseVocabularyvocabulaire
- utiliseBPE — Byte Pair Encodingencodage par paires d’octets
- utiliseSpecial Tokenstokens spéciaux
- voir aussiTokenjeton
- voir aussiPre-tokenizationpré-tokenisation
- voir aussiDetokenizationdétokenisation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le