Vanishing Gradient.
En françaisdisparition du gradientAussi : gradient évanescent · vanishing gradients
Signal d’erreur qui s’affaiblit en remontant les couches, au point que les premières n’apprennent presque plus.
Explication
La rétropropagation multiplie le gradient à chaque couche traversée. Si ces facteurs sont inférieurs à 1, le signal devient minuscule au bout de quelques dizaines de couches. Les connexions résiduelles lui offrent un chemin direct, et la normalisation garde les valeurs dans une plage stable.
Exemple
Sans connexions résiduelles, un empilement de blocs s’entraîne mal dès qu’il devient profond : c’est ce que montre la leçon 07.
Limites
Le problème inverse existe aussi : un gradient qui grossit de couche en couche (exploding gradient), que l’on borne par l’écrêtage.
Notions liées
Chaque ligne se lit comme une phrase : « Vanishing Gradient voir aussi Backpropagation ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le