Byte Pair Encoding (BPE).
En françaisencodage par paires d’octetsAussi : codage par paires de bytes
Algorithme de tokenisation qui fusionne progressivement les paires d’unités fréquentes.
Valeurs clés
GPT-2 : 50 000 fusions + 256 octets + 1 token spécial = 50 257 tokens
Explication
Après une représentation initiale, l’algorithme apprend des fusions fréquentes pour construire un vocabulaire de sous-mots. Les variantes modernes peuvent opérer sur des octets pour représenter des textes variés.
Exemple
Des caractères fréquents peuvent être fusionnés en un token commun au corpus.
Limites
Les frontières apprises dépendent du corpus et du vocabulaire ; BPE n’est pas le seul algorithme de sous-mots.
Usages métiers
- Tokenisation de modèles génératifs
- Contrôle des entrées longues
Métiers associés
- Ingénieur NLP
- Chercheur en langage
Compétences mobilisées
- Tokenisation
- Analyse de corpus
Notions liées
- fait partie deTokenizertokeniseur
- amélioreTokenjeton
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le