Token.
En françaisjetonAussi : unité de tokenisation · sous-mot
Unité discrète de texte traitée par un modèle de langage.
Valeurs clés
anglais : 1 token ≈ 4 caractères ≈ ¾ de mot (ordre de grandeur OpenAI)
Explication
Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou des octets. Le tokenizer associe chaque unité à un identifiant dans un vocabulaire. Les frontières des tokens ne correspondent pas nécessairement aux mots français.
Exemple
« Bonjour ! » peut être découpé en plusieurs tokens selon le tokenizer.
Limites
Le nombre de tokens et leur découpage varient selon le modèle et son tokenizer.
Usages métiers
- Estimation du coût API
- Gestion des fenêtres de contexte
Métiers associés
- Développeur IA
- Data scientist
Compétences mobilisées
- Tokenisation
- Préparation des prompts
Notions liées
- fait partie deTokenizertokeniseur
- s’appuie surEmbeddingplongement vectoriel
- utiliseLLM — Large Language Modelgrand modèle de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le