Model Collapse.
En françaiseffondrement du modèleAussi : effondrement par auto-apprentissage
Dégradation progressive de modèles entraînés, génération après génération, sur des textes produits par d’autres modèles.
Explication
Un modèle reproduit surtout ce qui est fréquent et oublie les cas rares. S’il sert à écrire les données du modèle suivant, la diversité se réduit à chaque génération : les textes deviennent plus uniformes et s’éloignent de la réalité.
Exemple
Après plusieurs générations entraînées uniquement sur leurs propres sorties, un modèle n’écrit plus que des phrases stéréotypées.
Limites
Démontré en laboratoire, dans des conditions extrêmes ; son ampleur réelle, quand des données humaines restent mêlées au corpus, est débattue.
Notions liées
Chaque ligne se lit comme une phrase : « Model Collapse voir aussi Synthetic Data ».
- voir aussiSynthetic Datadonnées synthétiques
- voir aussiTraining Datadonnées d’entraînement
- voir aussiData Contaminationcontamination des données d’évaluation
- voir aussiPretrainingpré-entraînement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le