Gradient Descent.
En françaisdescente de gradientAussi : SGD · optimisation · stochastic gradient descent
Méthode d’optimisation qui ajuste les paramètres dans la direction qui fait diminuer la perte.
Valeurs clés
θ ← θ − η · ∇L(θ)
Explication
Le gradient indique, pour chaque paramètre, dans quel sens la perte augmente. On fait un petit pas dans le sens opposé, de taille fixée par le taux d’apprentissage, sur un lot d’exemples à la fois.
Exemple
À chaque pas, des millions de poids bougent légèrement pour rendre le bon token plus probable.
Limites
Peut stagner ou diverger si le taux d’apprentissage est mal choisi.
Usages métiers
- Entraînement de réseaux
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Calcul différentiel
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le