Pruning.
En françaisélagageAussi : élagage de poids · sparsification
Supprimer des poids, des têtes ou des couches peu utiles pour alléger un modèle.
Explication
Tous les poids ne comptent pas autant. L’élagage met à zéro, ou retire, ceux dont la contribution est la plus faible, puis réentraîne souvent un peu pour compenser. Retirer des structures entières accélère vraiment le calcul.
Exemple
Retirer les têtes d’attention les moins utiles d’un modèle pour l’accélérer.
Limites
Mettre des poids isolés à zéro n’accélère rien sans matériel adapté ; au-delà d’un certain taux, la qualité chute.
Notions liées
Chaque ligne se lit comme une phrase : « Pruning voir aussi Quantization ».
- voir aussiQuantizationquantification numérique
- voir aussiKnowledge Distillationdistillation de connaissances
- voir aussiParametersparamètres
- voir aussiSLM — Small Language Modelpetit modèle de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le