Tokenizer.
En françaistokeniseurAussi : tokenizer · analyseur lexical du modèle
Composant qui découpe le texte en tokens et fait la conversion inverse.
Explication
L’encodeur transforme le texte en identifiants reconnus par le modèle. Le décodeur reconstruit du texte à partir des identifiants. Les tokens spéciaux peuvent délimiter des messages, des rôles ou des tâches.
Exemple
Le tokenizer encode « les modèles apprennent » en une séquence d’identifiants numériques.
Limites
Changer de tokenizer sans adapter le modèle rend généralement les identifiants incompatibles.
Usages métiers
- Préparer les entrées du modèle
- Compter les tokens
Métiers associés
- Ingénieur NLP
- Développeur IA
Compétences mobilisées
- Traitement automatique des langues
- Encodage et décodage
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le