Gradient.
En françaisgradientAussi : dérivée de la loss
Pour chaque poids du modèle, le sens et la force de la correction qui réduirait l’erreur.
Explication
Le gradient est une liste de nombres, un par paramètre : chacun dit de combien la loss changerait si l’on augmentait un peu ce poids. La descente de gradient déplace tous les poids dans le sens opposé, d’un petit pas réglé par le taux d’apprentissage.
Exemple
Si le gradient d’un poids vaut +2, l’augmenter fait monter la loss : on le diminue donc légèrement.
Limites
Le gradient n’est valable que tout près des poids actuels : un pas trop grand peut faire monter la loss au lieu de la faire descendre.
Notions liées
Chaque ligne se lit comme une phrase : « Gradient voir aussi Backpropagation ».
- voir aussiBackpropagationrétropropagation
- voir aussiGradient Descentdescente de gradient
- voir aussiLearning Ratetaux d’apprentissage
- voir aussiGradient Clippingécrêtage du gradient
- voir aussiVanishing Gradientdisparition du gradient
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le