Token.
En françaisjetonAussi : unité de tokenisationExemples : caractère · sous-mot · octet
Unité discrète de texte traitée par un modèle de langage.
Valeurs clés
anglais : 1 token ≈ 4 caractères ≈ ¾ de mot (ordre de grandeur OpenAI)
Explication
Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou des octets. Le tokenizer associe chaque unité à un identifiant dans un vocabulaire. Les frontières des tokens ne correspondent pas nécessairement aux mots français.
Exemple
« Bonjour ! » peut être découpé en plusieurs tokens selon le tokenizer.
Limites
Le nombre de tokens et leur découpage varient selon le modèle et son tokenizer.
Usages métiers
- Estimation du coût API
- Gestion des fenêtres de contexte
Métiers associés
- Développeur IA
- Data scientist
Compétences mobilisées
- Tokenisation
- Préparation des prompts
Notions liées
Chaque ligne se lit comme une phrase : « Token fait partie de Vocabulary ».
- fait partie deVocabularyvocabulaire
- voir aussiTokenizertokeniseur
- voir aussiToken Embeddingembedding de token
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le