Residual Connection.
En françaisconnexion résiduelleAussi : skip connection · raccourci résiduel
Raccourci qui additionne l’entrée d’une couche à sa sortie, pour que l’information et le gradient traversent facilement des réseaux profonds.
Valeurs clés
sortie = x + f(x)
Explication
Chaque sous-couche n’apprend qu’une correction à ajouter au flux principal, souvent appelé « flux résiduel » (residual stream). Sans ces raccourcis, entraîner des dizaines de blocs empilés serait très instable.
Exemple
Après l’attention, le vecteur d’un token vaut son ancienne valeur plus la contribution de l’attention.
Limites
Les connexions résiduelles n’empêchent pas à elles seules l’explosion des activations : la normalisation reste nécessaire.
Usages métiers
- Réseaux profonds
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Optimisation
Notions liées
- fait partie deTransformerTransformer
- utiliseLayerNorm — Layer Normalizationnormalisation de couche
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le