Gradient Clipping.
En françaisécrêtage du gradientAussi : clip_grad_norm · bornage du gradient
Plafonner la norme du gradient avant la mise à jour des poids, pour éviter un pas démesuré.
Valeurs clés
plafond courant : 1,0 · PyTorch : torch.nn.utils.clip_grad_norm_
Explication
Un lot inhabituel peut produire un gradient énorme. Si sa longueur dépasse le plafond, on le raccourcit en gardant sa direction : le modèle avance dans le bon sens, mais d’un pas raisonnable.
Exemple
Dans le projet MiniLab, clip_grad_norm_(model.parameters(), 1.0) est appelé entre loss.backward() et optimizer.step().
Limites
L’écrêtage masque un symptôme : s’il se déclenche à chaque pas, c’est le taux d’apprentissage qu’il faut revoir.
Notions liées
Chaque ligne se lit comme une phrase : « Gradient Clipping utilise Gradient ».
- utiliseGradientgradient
- voir aussiVanishing Gradientdisparition du gradient
- voir aussiLearning Ratetaux d’apprentissage
- voir aussiOptimizeroptimiseur
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le