Autograd.
En françaisdifférentiation automatiqueAussi : automatic differentiation · dérivation automatique
Calcul automatique des gradients par la bibliothèque, à partir des opérations effectuées.
Explication
PyTorch enregistre chaque opération faite sur les tenseurs. À l’appel de loss.backward(), il parcourt cet enregistrement à l’envers et applique la règle de dérivation en chaîne : chaque paramètre reçoit son gradient, sans qu’on écrive une seule dérivée à la main.
Exemple
Dans le projet MiniLab, la boucle d’entraînement tient en quelques lignes : calculer la loss, appeler loss.backward(), puis optimizer.step().
Limites
L’enregistrement des opérations consomme de la mémoire : on le désactive pendant l’inférence, avec torch.no_grad().
Notions liées
Chaque ligne se lit comme une phrase : « Autograd voir aussi Backpropagation ».
- voir aussiBackpropagationrétropropagation
- voir aussiGradientgradient
- voir aussiGradient Descentdescente de gradient
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le