Transfer Learning.
En françaisapprentissage par transfertAussi : transfert d’apprentissage
Réutiliser un modèle entraîné sur une tâche générale comme point de départ pour une autre tâche.
Explication
Au lieu de partir de poids aléatoires, on part d’un modèle qui a déjà appris la langue. Il suffit alors de peu de données et de peu de calcul pour le spécialiser. C’est l’idée qui fonde tout l’écosystème actuel : pré-entraîner une fois, adapter mille fois.
Exemple
Dans le projet MiniLab, le fine-tuning en assistant repart du modèle de base pré-entraîné sur le roman.
Limites
Le transfert fonctionne d’autant mieux que la nouvelle tâche ressemble aux données du pré-entraînement.
Notions liées
Chaque ligne se lit comme une phrase : « Transfer Learning utilise Pretraining ».
- utilisePretrainingpré-entraînement
- voir aussiFine-tuningajustement fin
- voir aussiFoundation Modelmodèle de fondation
- voir aussiBase Modelmodèle de base
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le