Stochastic Gradient Descent (SGD).
En françaisdescente de gradient stochastiqueAussi : mini-batch gradient descent · descente de gradient par lots
Descente de gradient où chaque pas est calculé sur un petit lot d’exemples tiré au hasard, et non sur tout le jeu de données.
Explication
Calculer le gradient sur des milliards de tokens à chaque pas serait impossible. On l’estime donc sur un lot : l’estimation est bruitée, mais elle suffit, et l’on avance des milliers de fois plus vite. « Stochastique » veut dire « tiré au hasard ».
Exemple
Le projet MiniLab tire à chaque pas 32 fenêtres de 128 tokens : 4 096 tokens sur les 52 000 du corpus.
Limites
Un lot trop petit donne un gradient très bruité ; un lot trop grand ne tient pas en mémoire.
Notions liées
Chaque ligne se lit comme une phrase : « Stochastic Gradient Descent est un type de Gradient Descent ».
- est un type deGradient Descentdescente de gradient
- est un type deOptimizeroptimiseur
- utiliseBatch Sizetaille de lot
- alternative àAdamW — AdamW Optimizeroptimiseur AdamW
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le