La tokenisation.

Un réseau neuronal ne manipule pas directement des phrases. Un tokenizer découpe le texte en unités appelées tokens, puis associe à chacune de ces unités un identifiant numérique.

À ce stade, l'IA sait identifier les éléments du texte, mais ne les comprend pas encore. Ces identifiants ne font que préparer le terrain pour la représentation sémantique, que nous aborderons dans la leçon 03 avec les embeddings (plongements lexicaux) : chaque identifiant y sera remplacé par une suite de nombres capable de porter du sens.

Pour commencer simplement, notre futur MiniLab utilisera un tokenizer qui découpe le texte caractère par caractère. Chaque caractère deviendra donc un token.

Par exemple, si vous écrivez baba, le tokenizer le découpera ainsi :

b   a   b   a

Notre tokenizer associera ensuite chaque caractère à un identifiant numérique. Cet identifiant dépendra du vocabulaire utilisé : c’est la liste des caractères que le tokenizer connaît et des numéros qui leur sont associés.

a → 49
b → 50

baba → [50, 49, 50, 49]

Dans le vocabulaire actuel du laboratoire, le token b correspond à l’identifiant 50 et le token a à l’identifiant 49. Chaque lettre répétée garde le même identifiant : la séquence de nombres suit donc l’ordre des lettres.

Pourquoi a ne commence-t-il pas à 0 ? Parce que le vocabulaire du laboratoire range ses caractères dans l’ordre Unicode, et que d’autres caractères passent avant les minuscules : les identifiants 0 à 48 sont attribués au saut de ligne, à l’espace, aux signes de ponctuation, aux chiffres et aux lettres majuscules.

Notre futur modèle recevra cette suite de nombres plutôt que les lettres directement. Vous pouvez retrouver ces mêmes identifiants dans le laboratoire ci-contre.

Essayez de taper baba dans le champ du laboratoire. Les deux b ont le même identifiant, tout comme les deux a. Pourtant, chaque caractère occupe une position différente dans le texte.

Sélectionnez les tokens pour comparer leurs identifiants et leurs positions. Dans notre futur projet, le tokenizer reconnaîtra lui aussi les unités qui composent le texte, sans leur donner encore de sens.

Avant d’entraîner notre modèle, nous préparerons son vocabulaire. Nous le réutiliserons pendant l’entraînement, puis chaque fois que nous enverrons une requête au modèle.

Un caractère doit toujours garder le même identifiant dans ce vocabulaire. Si son numéro changeait à chaque phrase, le modèle ne pourrait pas apprendre correctement à reconnaître les mêmes éléments.

Dans notre futur projet MiniLab, nous découperons volontairement chaque caractère séparément pour rendre le principe facile à observer.

Le vocabulaire du laboratoire est limité : si vous saisissez un caractère qu’il ne connaît pas, comme 🙂, le tokenizer rejette le texte et le laboratoire affiche une erreur. Il ne crée pas automatiquement un nouvel identifiant, car cela modifierait le vocabulaire utilisé.

D’autres tokenizers peuvent regrouper plusieurs caractères et reconnaître des morceaux de mots fréquents. Cela permet souvent de représenter un texte avec moins de tokens et de le traiter plus efficacement.

Deux modèles peuvent utiliser des tokenizers différents et découper une même phrase de manière différente. Le nombre de tokens dépend donc du tokenizer utilisé.