N-gram.
En françaisn-grammeAussi : modèle n-gramme · modèle par comptageExemples : bigramme (n = 2) · trigramme (n = 3)
Suite de n éléments consécutifs d’un texte ; un modèle n-gramme prédit la suite par simple comptage de ces suites.
Valeurs clés
ordre n : le modèle regarde les n − 1 éléments précédents · laboratoire de la leçon 04 : 1 à 5 caractères de contexte
Explication
Un modèle n-gramme parcourt un corpus et compte combien de fois chaque suite apparaît. Pour prédire, il cherche les derniers éléments du texte dans sa table et propose la suite la plus fréquente. Il n’apprend aucun poids : c’est une table de comptes, pas un réseau de neurones.
Exemple
Dans le roman de Jules Verne, après « Phileas Fog », le caractère le plus fréquent est « g » : le modèle le propose.
Limites
Statut « Historique » : c’était la méthode de référence avant les réseaux de neurones. Un contexte long est rarement présent dans le corpus, et le modèle ne généralise pas à une suite jamais vue.
Notions liées
Chaque ligne se lit comme une phrase : « N-gram alternative à Neural Network ».
- alternative àNeural Networkréseau neuronal
- voir aussiNext-Token Predictionprédiction du token suivant
- voir aussiAutoregressive Generationgénération autorégressive
- voir aussiContext Windowfenêtre de contexte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le