Pre-tokenization.
En françaispré-tokenisationAussi : pre-tokenizer · pré-découpage
Découpage grossier du texte en mots et en ponctuation, avant d’appliquer les fusions du BPE.
Explication
Le pré-découpage fixe des frontières que les fusions ne franchiront jamais : sans lui, la fin d’un mot pourrait fusionner avec le début du suivant. Les tokenizers de la famille GPT attachent l’espace au mot qui le suit, ce qui permet de reconstruire le texte à l’identique.
Exemple
« le chat, 12345 » devient « le », « ␣chat », « , », « ␣123 », « 45 » avant toute fusion.
Limites
La règle de découpage fait partie du tokenizer : un caractère oublié par cette règle disparaît du texte. Dans le projet MiniLab, c’était le cas du tiret bas avant correction.
Notions liées
Chaque ligne se lit comme une phrase : « Pre-tokenization fait partie de Tokenizer ».
- fait partie deTokenizertokeniseur
- voir aussiBPE — Byte Pair Encodingencodage par paires d’octets
- voir aussiDetokenizationdétokenisation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le