Vocabulary.
En françaisvocabulaireAussi : vocab · vocab size · taille du vocabulaire
Liste fermée de tous les tokens que le tokenizer peut produire, chacun associé à un identifiant entier.
Valeurs clés
GPT-2 : 50 257 tokens · cl100k_base ≈ 100 000 · o200k_base ≈ 200 000
Explication
La taille du vocabulaire fixe le nombre de lignes de la table d’embeddings et le nombre de logits en sortie. Un grand vocabulaire produit des séquences plus courtes, mais une table plus grande.
Exemple
Dans le vocabulaire de GPT-2, l’identifiant 50 256 correspond au token spécial <|endoftext|>.
Limites
Un vocabulaire conçu surtout pour l’anglais découpe d’autres langues en plus de tokens.
Usages métiers
- Comparer des tokenizers
Métiers associés
- Ingénieur NLP
Compétences mobilisées
- Tokenisation
Notions liées
Chaque ligne se lit comme une phrase : « Vocabulary fait partie de Tokenizer ».
- fait partie deTokenizertokeniseur
- voir aussiTokenjeton
- voir aussiSpecial Tokenstokens spéciaux
- voir aussiLogitslogits
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le