Scaling Laws.
En françaislois d’échelleAussi : Chinchilla · compute-optimal
Relations empiriques qui prédisent la perte d’un modèle selon ses paramètres, ses données et le calcul utilisé.
Valeurs clés
Chinchilla : ≈ 20 tokens d’entraînement par paramètre · C ≈ 6 × N × D FLOP
Explication
La perte diminue comme une loi de puissance quand on augmente taille, données et calcul. L’étude Chinchilla a montré qu’à budget fixe il faut équilibrer taille du modèle et nombre de tokens.
Exemple
Un modèle de 70 G de paramètres serait « optimal » avec environ 1,4 T tokens.
Limites
La perte ne mesure pas toutes les capacités ; on entraîne souvent bien au-delà de l’optimum pour réduire le coût d’inférence.
Usages métiers
- Planifier un entraînement
Métiers associés
- Chercheur ML
Compétences mobilisées
- Statistiques
Notions liées
- utiliseParametersparamètres
- utiliseTraining Datadonnées d’entraînement
- améliorePretrainingpré-entraînement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le