Hidden Size (d_model).
En françaisdimension du modèleAussi : dimension cachée · model dimension · n_embd
Nombre de valeurs du vecteur qui représente chaque token à l’intérieur du modèle.
Valeurs clés
GPT-2 small : 768 · GPT-2 XL : 1 600 · GPT-3 175B : 12 288
Explication
Les embeddings, la sortie de l’attention et le flux résiduel ont tous cette dimension. Elle fixe, avec le nombre de blocs, l’essentiel de la taille du modèle.
Exemple
Dans GPT-2 small, chaque token devient un vecteur de 768 nombres.
Limites
Une dimension plus grande augmente la mémoire et le calcul ; elle doit rester divisible par le nombre de têtes.
Usages métiers
- Configurer une architecture
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Dimensionnement de modèles
Notions liées
- fait partie deEmbeddingplongement vectoriel
- fait partie deParametersparamètres
- fait partie deTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le