Graphics Processing Unit (GPU).
En françaisprocesseur graphiqueAussi : carte graphique · accélérateur · VRAM
Processeur massivement parallèle utilisé pour les calculs matriciels de l’entraînement et de l’inférence.
Valeurs clés
mémoire des poids ≈ paramètres × octets : 7 G en FP16 ≈ 14 Go
Explication
Les produits de matrices d’un Transformer se parallélisent très bien. La mémoire du GPU (VRAM) limite la taille du modèle, du contexte et du lot.
Exemple
Un modèle de 7 G quantifié en 4 bits tient dans environ 4 Go de VRAM.
Limites
Coûteux et parfois rare ; la bande passante mémoire limite souvent plus que la puissance de calcul.
Usages métiers
- Entraînement
- Inférence
Métiers associés
- Ingénieur plateforme ML
Compétences mobilisées
- CUDA
- Dimensionnement
Notions liées
- s’appuie surInferenceinférence
- amélioreQuantizationquantification numérique
- utiliseMixed Precisionprécision mixte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le