Parameters.
En françaisparamètresAussi : poids · weights · taille du modèle
Nombres ajustés pendant l’entraînement (poids et biais) qui déterminent le calcul d’un modèle.
Valeurs clés
GPT-2 : 124 M à 1,5 G · GPT-3 : 175 G · mémoire FP16 ≈ 2 octets × paramètres
Explication
On exprime la taille d’un modèle en nombre de paramètres : M pour millions, G ou B (billions en anglais) pour milliards. Ce nombre fixe la mémoire nécessaire pour charger les poids et le coût de calcul par token.
Exemple
Un modèle de 7 milliards de paramètres occupe environ 14 Go en 16 bits.
Limites
Plus de paramètres n’implique pas une meilleure qualité : données, durée d’entraînement et alignement comptent autant.
Usages métiers
- Dimensionner un déploiement
- Comparer des modèles
Métiers associés
- Ingénieur ML
- Architecte IA
Compétences mobilisées
- Estimation de mémoire
Notions liées
- fait partie deLLM — Large Language Modelgrand modèle de langage
- amélioreQuantizationquantification numérique
- s’appuie surScaling Lawslois d’échelle
- utilised_model — Hidden Sizedimension du modèle
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le