Learning Rate Schedule.
En françaisplanning du taux d’apprentissageAussi : LR schedule · schedulerExemples : warmup linéaire · décroissance en cosinus (cosine decay)
Règle qui fait varier le taux d’apprentissage au fil de l’entraînement : montée progressive, puis décroissance.
Valeurs clés
projet MiniLab : warmup de 100 pas jusqu’à 0,0015, puis cosinus jusqu’au dixième du maximum
Explication
Au début, les poids sont aléatoires et les gradients instables : on commence par de tout petits pas, que l’on agrandit progressivement (warmup). Ensuite, on réduit le taux pour affiner le réglage au lieu de tourner autour du minimum.
Exemple
Un entraînement de 800 pas monte de 0 à son taux maximal en 100 pas, puis redescend en douceur jusqu’au pas 800.
Limites
Le planning dépend de la durée prévue : changer le nombre de pas change le taux utilisé à chaque moment.
Notions liées
Chaque ligne se lit comme une phrase : « Learning Rate Schedule utilise Learning Rate ».
- utiliseLearning Ratetaux d’apprentissage
- voir aussiOptimizeroptimiseur
- voir aussiAdamW — AdamW Optimizeroptimiseur AdamW
- voir aussiHyperparameterhyperparamètre
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le