Parameters.
En françaisparamètresAussi : poids · weights
Nombres ajustés pendant l’entraînement (poids et biais) qui déterminent le calcul d’un modèle.
Valeurs clés
GPT-2 : 124 M à 1,5 G · GPT-3 : 175 G · mémoire FP16 ≈ 2 octets × paramètres
Explication
On exprime la taille d’un modèle en nombre de paramètres : M pour millions, G ou B (billions en anglais) pour milliards. Ce nombre fixe la mémoire nécessaire pour charger les poids et le coût de calcul par token.
Exemple
Un modèle de 7 milliards de paramètres occupe environ 14 Go en 16 bits.
Limites
Plus de paramètres n’implique pas une meilleure qualité : données, durée d’entraînement et alignement comptent autant.
Usages métiers
- Dimensionner un déploiement
- Comparer des modèles
Métiers associés
- Ingénieur ML
- Architecte IA
Compétences mobilisées
- Estimation de mémoire
Notions liées
Chaque ligne se lit comme une phrase : « Parameters fait partie de Neural Network ».
- fait partie deNeural Networkréseau neuronal
- voir aussiHyperparameterhyperparamètre
- voir aussid_model — Hidden Sizedimension du modèle
- voir aussiScaling Lawslois d’échelle
- voir aussiCheckpointpoint de sauvegarde
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le