Catastrophic Forgetting.
En françaisoubli catastrophiqueAussi : interférence catastrophique
Perte de connaissances acquises auparavant quand on poursuit l’entraînement d’un modèle sur de nouvelles données.
Explication
La descente de gradient modifie les poids pour la nouvelle tâche sans se soucier de l’ancienne. Un fine-tuning trop long ou trop brutal peut ainsi dégrader ce que le modèle savait faire. On s’en protège par un taux d’apprentissage faible, peu de pas, ou en gelant la plupart des poids.
Exemple
Un modèle fine-tuné sur des textes juridiques répond moins bien aux questions de culture générale.
Limites
Le phénomène est graduel et passe inaperçu si l’on n’évalue que la nouvelle tâche.
Notions liées
Chaque ligne se lit comme une phrase : « Catastrophic Forgetting voir aussi Fine-tuning ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le