AdamW Optimizer (AdamW).
En françaisoptimiseur AdamWAussi : Adam · optimiseur · weight decay
Optimiseur qui adapte le pas de chaque paramètre à partir des moyennes de ses gradients, avec une régularisation des poids séparée.
Valeurs clés
PyTorch : lr = 0,001, β₁ = 0,9, β₂ = 0,999, weight_decay = 0,01 par défaut
Explication
Adam suit une moyenne des gradients (momentum) et de leur carré pour normaliser chaque pas. AdamW applique la décroissance des poids (weight decay) directement aux paramètres. C’est l’optimiseur standard des Transformers.
Exemple
torch.optim.AdamW(model.parameters(), lr=3e-4) entraîne un petit GPT.
Limites
Il stocke deux valeurs par paramètre : la mémoire de l’optimiseur peut dépasser celle des poids.
Usages métiers
- Entraînement de Transformers
Métiers associés
- Ingénieur ML
Compétences mobilisées
- PyTorch
- Optimisation
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le