RMSNorm.
En françaisRMSNormAussi : Root Mean Square Normalization · normalisation par la moyenne quadratique
Normalisation simplifiée qui remet les vecteurs à l’échelle sans les recentrer sur zéro.
Valeurs clés
x ÷ √(moyenne des x²), puis multiplication par un gain appris
Explication
La LayerNorm soustrait la moyenne puis divise par l’écart type. RMSNorm ne garde que la division : un calcul de moins, pour un résultat équivalent en pratique. Elle est utilisée par Llama et de nombreux modèles récents.
Exemple
Un vecteur dont les valeurs ont grossi au fil des blocs est ramené à une taille stable avant la sous-couche suivante.
Limites
Ce n’est pas un synonyme de LayerNorm : les deux ne donnent pas les mêmes nombres, et un modèle entraîné avec l’une ne fonctionne pas avec l’autre.
Notions liées
Chaque ligne se lit comme une phrase : « RMSNorm alternative à Layer Normalization ».
- alternative àLayerNorm — Layer Normalizationnormalisation de couche
- voir aussiPre-norm / Post-normnormalisation avant / après
- voir aussiTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le