Feed-Forward Network (FFN).
En françaisréseau à propagation avantAussi : MLP · couche dense · perceptron multicouche
Petit réseau à deux couches appliqué à chaque token séparément, après l’attention, dans chaque bloc Transformer.
Valeurs clés
dimension interne ≈ 4 × d_model (2 048 pour 512 dans le Transformer original)
Explication
Le FFN agrandit la dimension, applique une non-linéarité (ReLU, GELU, SwiGLU) puis revient à la dimension du modèle. Il contient la majorité des paramètres d’un bloc.
Exemple
Un vecteur de 768 valeurs passe à 3 072, est activé, puis revient à 768.
Limites
Il ne fait circuler aucune information entre tokens : ce rôle revient à l’attention.
Usages métiers
- Blocs Transformer
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Réseaux de neurones
Notions liées
Chaque ligne se lit comme une phrase : « Feed-Forward Network fait partie de Transformer ».
- fait partie deTransformerTransformer
- utiliseActivation Functionfonction d’activation
- voir aussiMoE — Mixture of Expertsmélange d’experts
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le