Vocabulary.
En françaisvocabulaireAussi : vocab · vocab size · taille du vocabulaire
Liste fermée de tous les tokens que le tokenizer peut produire, chacun associé à un identifiant entier.
Valeurs clés
GPT-2 : 50 257 tokens · cl100k_base ≈ 100 000 · o200k_base ≈ 200 000
Explication
La taille du vocabulaire fixe le nombre de lignes de la table d’embeddings et le nombre de logits en sortie. Un grand vocabulaire produit des séquences plus courtes, mais une table plus grande.
Exemple
Dans le vocabulaire de GPT-2, l’identifiant 50 256 correspond au token spécial <|endoftext|>.
Limites
Un vocabulaire conçu surtout pour l’anglais découpe d’autres langues en plus de tokens.
Usages métiers
- Comparer des tokenizers
Métiers associés
- Ingénieur NLP
Compétences mobilisées
- Tokenisation
Notions liées
- fait partie deTokenizertokeniseur
- utiliseTokenjeton
- utiliseLogitslogits
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le