Self-supervised Learning.
En françaisapprentissage auto-superviséAussi : auto-supervision · self-supervision
Apprentissage où le texte fournit lui-même la bonne réponse, sans annotation humaine.
Explication
Pour entraîner un modèle de langage, on cache la suite d’un texte et on lui demande de la prédire : la réponse attendue est simplement le token suivant, déjà écrit. N’importe quel texte devient ainsi un cahier d’exercices corrigés, ce qui permet d’utiliser des quantités immenses de données.
Exemple
Le mot « chat » donne trois exercices : « c » → « h », « ch » → « a », « cha » → « t ».
Limites
Le modèle apprend ce qui est fréquent dans ses textes, erreurs et biais compris : rien ne lui dit ce qui est vrai.
Notions liées
Chaque ligne se lit comme une phrase : « Self-supervised Learning utilise Training Data ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le