Mixed Precision.
En françaisprécision mixteAussi : BF16 · FP16 · FP32 · AMP
Utilisation de nombres en 16 bits pour la plupart des calculs, en gardant 32 bits là où la stabilité l’exige.
Valeurs clés
FP32 : 4 octets · FP16 / BF16 : 2 octets · INT8 : 1 octet · INT4 : 0,5 octet par valeur
Explication
Le format BF16 garde la plage de valeurs du FP32 avec moins de précision, ce qui convient bien aux réseaux. On divise ainsi la mémoire par deux et on accélère le calcul sur les GPU récents.
Exemple
torch.autocast active automatiquement le BF16 pendant l’entraînement.
Limites
Le FP16 peut provoquer des débordements sans mise à l’échelle de la perte.
Usages métiers
- Entraînement plus rapide
Métiers associés
- Ingénieur ML système
Compétences mobilisées
- Calcul numérique
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le