Pre-norm / Post-norm.
En françaisnormalisation avant / aprèsAussi : Pre-LN · Post-LN · pre-layer normalization
Place de la normalisation par rapport à chaque sous-couche d’un bloc : avant elle (pre-norm) ou après l’addition résiduelle (post-norm).
Valeurs clés
pre-norm : h = x + SousCouche(Norm(x)) · post-norm : h = Norm(x + SousCouche(x))
Explication
Le Transformer de 2017 normalisait après chaque addition. GPT-2 et presque tous les modèles récents normalisent avant : le chemin résiduel reste intact, les gradients circulent mieux et l’entraînement de modèles profonds est plus stable. Le pre-norm demande une normalisation finale avant la tête de langage.
Exemple
Le projet MiniLab est en pre-norm : chaque bloc calcule h = x + Attention(LayerNorm(x)).
Limites
Le post-norm se rencontre encore dans des modèles plus anciens : lire le schéma d’un modèle avant de supposer l’un ou l’autre.
Notions liées
Chaque ligne se lit comme une phrase : « Pre-norm / Post-norm utilise Layer Normalization ».
- utiliseLayerNorm — Layer Normalizationnormalisation de couche
- voir aussiResidual Connectionconnexion résiduelle
- voir aussiVanishing Gradientdisparition du gradient
- voir aussiRMSNormRMSNorm
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le