Quantization.
En françaisquantification numériqueAussi : quantification des poids · réduction de précision
Réduction de la précision numérique utilisée pour représenter certains poids ou calculs.
Valeurs clés
FP16 : 2 octets · INT8 : 1 octet · INT4 : 0,5 octet par poids · 7 G de paramètres : ≈ 14 Go → ≈ 3,5 Go
Explication
La quantification peut diminuer la mémoire nécessaire et accélérer l’inférence sur du matériel compatible. Les méthodes varient selon qu’elles sont appliquées après entraînement ou prises en compte pendant celui-ci.
Exemple
Des poids stockés avec une précision moindre permettent de charger un modèle plus grand dans la même mémoire.
Limites
Une perte de précision peut affecter certaines tâches ; les gains de vitesse dépendent du matériel et du moteur.
Usages métiers
- Exécution locale
- Réduction de mémoire
Métiers associés
- Ingénieur ML système
- Développeur embarqué
Compétences mobilisées
- Calcul numérique
- Profilage matériel
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le