Residual Stream.
En françaisflux résiduelAussi : flux principal
Le vecteur de chaque token, qui traverse tous les blocs du modèle et s’enrichit à chaque addition résiduelle.
Explication
Chaque sous-couche lit ce vecteur, calcule une correction et l’additionne au lieu de le remplacer. On peut donc voir le modèle comme un canal central que l’attention et le feed-forward viennent tour à tour compléter. Cette lecture est très utilisée en interprétabilité.
Exemple
Dans GPT-2 small, un vecteur de 768 nombres par token reçoit 24 additions : une attention et un feed-forward dans chacun des 12 blocs.
Limites
C’est une façon de décrire les connexions résiduelles, pas un composant supplémentaire : aucun paramètre ne lui est propre.
Notions liées
Chaque ligne se lit comme une phrase : « Residual Stream utilise Residual Connection ».
- utiliseResidual Connectionconnexion résiduelle
- voir aussid_model — Hidden Sizedimension du modèle
- voir aussiInterpretabilityinterprétabilité
- voir aussiTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le