Weight Decay.
En françaisrégularisation des poidsAussi : décroissance des poids · régularisation L2
Pénalité qui ramène légèrement les poids vers zéro à chaque pas, pour les empêcher de devenir trop grands.
Valeurs clés
valeurs courantes : 0,01 à 0,1 · projet MiniLab : 0,1
Explication
Un poids énorme signale souvent que le modèle s’est accroché à un détail de ses données. En rétrécissant un peu tous les poids à chaque pas, on favorise des solutions plus simples, qui généralisent mieux. C’est le « W » de AdamW, où cette pénalité est appliquée séparément du gradient.
Exemple
Avec un weight decay de 0,1, un poids qui ne reçoit aucun gradient utile s’efface peu à peu.
Limites
Trop fort, il empêche le modèle d’apprendre. On ne l’applique généralement ni aux biais ni aux gains de normalisation.
Notions liées
Chaque ligne se lit comme une phrase : « Weight Decay fait partie de AdamW Optimizer ».
- fait partie deAdamW — AdamW Optimizeroptimiseur AdamW
- voir aussiOverfittingsurapprentissage
- voir aussiDropoutabandon aléatoire
- voir aussiGeneralizationgénéralisation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le