Layer Normalization (LayerNorm).
En françaisnormalisation de coucheAussi : LayerNorm · normalisation de coucheExemples : LayerNorm · RMSNorm
Opération qui recentre et remet à l’échelle les valeurs d’un vecteur pour stabiliser l’entraînement.
Valeurs clés
y = (x − μ) / √(σ² + ε) · γ + β · ε = 1e-5 par défaut dans PyTorch
Explication
Pour chaque token, on soustrait la moyenne de ses valeurs et on divise par leur écart-type, puis on applique un gain et un biais appris. RMSNorm, très répandu, saute le recentrage et ne divise que par la moyenne quadratique.
Exemple
Un vecteur aux valeurs très grandes est ramené autour de 0 avec une dispersion de 1 avant l’attention.
Limites
L’emplacement de la normalisation (avant ou après la sous-couche) change la stabilité et doit être choisi avec soin.
Usages métiers
- Stabiliser l’entraînement
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Statistiques
- PyTorch
Notions liées
Chaque ligne se lit comme une phrase : « Layer Normalization fait partie de Transformer ».
- fait partie deTransformerTransformer
- alternative àRMSNormRMSNorm
- voir aussiPre-norm / Post-normnormalisation avant / après
- voir aussiResidual Connectionconnexion résiduelle
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le