Layer Normalization (LayerNorm).
En françaisnormalisation de coucheAussi : RMSNorm · normalisation
Opération qui recentre et remet à l’échelle les valeurs d’un vecteur pour stabiliser l’entraînement.
Valeurs clés
y = (x − μ) / √(σ² + ε) · γ + β · ε = 1e-5 par défaut dans PyTorch
Explication
Pour chaque token, on soustrait la moyenne de ses valeurs et on divise par leur écart-type, puis on applique un gain et un biais appris. RMSNorm, très répandu, saute le recentrage et ne divise que par la moyenne quadratique.
Exemple
Un vecteur aux valeurs très grandes est ramené autour de 0 avec une dispersion de 1 avant l’attention.
Limites
L’emplacement de la normalisation (avant ou après la sous-couche) change la stabilité et doit être choisi avec soin.
Usages métiers
- Stabiliser l’entraînement
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Statistiques
- PyTorch
Notions liées
- fait partie deTransformerTransformer
- amélioreResidual Connectionconnexion résiduelle
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le