Backpropagation.
En françaisrétropropagationAussi : backward pass · rétropropagation du gradient · autograd
Algorithme qui calcule efficacement le gradient de la perte par rapport à chaque paramètre, en remontant le réseau couche par couche.
Valeurs clés
en PyTorch : loss.backward()
Explication
Il applique la règle de dérivation en chaîne depuis la perte jusqu’aux premières couches. Les frameworks comme PyTorch l’automatisent (différentiation automatique).
Exemple
Après le calcul de la perte, loss.backward() remplit le gradient de chaque poids.
Limites
Les gradients peuvent devenir trop grands ou trop petits dans les réseaux profonds ; il faut garder les activations en mémoire.
Usages métiers
- Entraînement
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Calcul différentiel
- PyTorch
Notions liées
- fait partie deGradient Descentdescente de gradient
- s’appuie surCross-Entropy Lossperte d’entropie croisée
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le