Detokenization.
En françaisdétokenisationAussi : decoding · décodage des tokens
Retour des identifiants au texte : chaque identifiant est retrouvé dans le vocabulaire et les morceaux sont mis bout à bout.
Explication
C’est le chemin inverse de la tokenisation. Avec un BPE au niveau des octets, un caractère peut être coupé entre deux tokens : pendant un affichage au fil de l’eau, il faut attendre les octets manquants avant de montrer le caractère.
Exemple
L’emoji « 🙂 » s’écrit sur 4 octets : le décodeur du projet MiniLab reçoit 4 tokens, n’affiche rien pour les trois premiers, puis le caractère entier.
Limites
Ne pas confondre avec la phase de decode de l’inférence, ni avec les stratégies de décodage (glouton, sampling) : trois sens différents du même mot.
Notions liées
Chaque ligne se lit comme une phrase : « Detokenization fait partie de Tokenizer ».
- fait partie deTokenizertokeniseur
- voir aussiStreamingdiffusion en continu
- voir aussiPre-tokenizationpré-tokenisation
- voir aussiVocabularyvocabulaire
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le