Optimizer.
En françaisoptimiseurAussi : algorithme d’optimisationExemples : SGD · Adam · AdamW
Algorithme qui met à jour les poids du modèle à partir des gradients.
Explication
La rétropropagation dit dans quel sens corriger chaque poids ; l’optimiseur décide de combien. Le plus simple retranche le gradient multiplié par le taux d’apprentissage. Les optimiseurs modernes gardent en mémoire les gradients précédents pour adapter le pas de chaque poids.
Exemple
Dans le projet MiniLab, optimizer.step() applique un pas d’AdamW après chaque lot.
Limites
Un bon optimiseur ne remplace pas un bon taux d’apprentissage : mal réglé, l’entraînement stagne ou diverge.
Notions liées
Chaque ligne se lit comme une phrase : « Optimizer utilise Gradient ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le