VRAM.
En françaismémoire vidéoAussi : mémoire GPU · video RAM
Mémoire de la carte graphique : elle borne la taille du modèle que l’on peut charger et la longueur du contexte.
Valeurs clés
poids : nombre de paramètres × octets par poids · 7 milliards de paramètres sur 16 bits ≈ 14 Go, sur 4 bits ≈ 4 Go
Explication
Pour calculer vite, les poids du modèle doivent tenir dans la mémoire du GPU. S’y ajoutent le cache KV, qui grandit avec le contexte et le nombre de requêtes simultanées, et les calculs intermédiaires. C’est la première contrainte à vérifier avant de choisir un modèle.
Exemple
Un modèle de 7 milliards de paramètres ne tient pas sur une carte de 8 Go en 16 bits, mais y tient une fois quantifié sur 4 bits.
Limites
Tenir en mémoire ne suffit pas : il faut garder de la marge pour le cache KV, qui peut dépasser la taille des poids sur de longs contextes.
Notions liées
Chaque ligne se lit comme une phrase : « VRAM fait partie de Graphics Processing Unit ».
- fait partie deGPU — Graphics Processing Unitprocesseur graphique
- voir aussiQuantizationquantification numérique
- voir aussiKV cache — Key-Value Cachecache des clés et des valeurs
- voir aussiMixed Precisionprécision mixte
- voir aussiOn-device Inferenceinférence embarquée
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le