Batch Size.
En françaistaille de lotAussi : batch · lot · mini-batch · gradient accumulation
Nombre d’exemples traités ensemble avant chaque mise à jour des paramètres.
Valeurs clés
tokens par pas = batch × longueur de séquence
Explication
Un grand lot donne un gradient plus stable mais demande plus de mémoire. L’accumulation de gradient simule un grand lot en additionnant plusieurs petits lots avant la mise à jour.
Exemple
Avec 8 séquences de 1 024 tokens, chaque pas voit 8 192 tokens.
Limites
Changer la taille de lot impose souvent d’ajuster le taux d’apprentissage.
Usages métiers
- Réglage d’entraînement
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Hyperparamètres
Notions liées
- utiliseLearning Ratetaux d’apprentissage
- fait partie deEpochépoque
- s’appuie surGPU — Graphics Processing Unitprocesseur graphique
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le