Feed-Forward Network (FFN).
En françaisréseau à propagation avantAussi : MLP · couche dense · perceptron multicouche
Petit réseau à deux couches appliqué à chaque token séparément, après l’attention, dans chaque bloc Transformer.
Valeurs clés
dimension interne ≈ 4 × d_model (2 048 pour 512 dans le Transformer original)
Explication
Le FFN agrandit la dimension, applique une non-linéarité (ReLU, GELU, SwiGLU) puis revient à la dimension du modèle. Il contient la majorité des paramètres d’un bloc.
Exemple
Un vecteur de 768 valeurs passe à 3 072, est activé, puis revient à 768.
Limites
Il ne fait circuler aucune information entre tokens : ce rôle revient à l’attention.
Usages métiers
- Blocs Transformer
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Réseaux de neurones
Notions liées
- fait partie deTransformerTransformer
- alternative àMoE — Mixture of Expertsmélange d’experts
- utiliseParametersparamètres
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le