Learning Rate.
En françaistaux d’apprentissageAussi : lr · pas d’apprentissage · warmup · cosine schedule
Taille du pas effectué à chaque mise à jour des paramètres.
Valeurs clés
ordre de grandeur 10⁻⁵ à 10⁻³ · warmup puis décroissance (cosinus, linéaire)
Explication
Trop grand, l’entraînement diverge ; trop petit, il stagne. On le fait souvent monter progressivement au début (warmup) puis décroître selon un calendrier (scheduler).
Exemple
Un fine-tuning utilise un taux plus petit qu’un pré-entraînement pour ne pas effacer les connaissances.
Limites
La valeur optimale dépend de la taille du modèle, du batch et de l’optimiseur : elle se trouve par essais.
Usages métiers
- Réglage d’entraînement
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Hyperparamètres
Notions liées
- fait partie deGradient Descentdescente de gradient
- fait partie deAdamW — AdamW Optimizeroptimiseur AdamW
- s’appuie surBatch Sizetaille de lot
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le