Activation Function.
En françaisfonction d’activationAussi : non-linéarité · non-linearityExemples : ReLU · GELU · SwiGLU
Fonction non linéaire appliquée à chaque neurone, entre deux couches d’un réseau.
Explication
Sans elle, empiler des couches ne servirait à rien : deux multiplications de matrices à la suite équivalent à une seule. La fonction d’activation plie l’espace entre les couches, ce qui permet au réseau de représenter des relations complexes. Dans un bloc Transformer, elle se trouve au milieu du feed-forward.
Exemple
ReLU remplace chaque nombre négatif par 0 ; GELU fait de même, en arrondissant l’angle autour de zéro.
Limites
Le choix de la fonction est un détail d’architecture fixé avant l’entraînement : on ne la change pas sur un modèle déjà entraîné.
Notions liées
Chaque ligne se lit comme une phrase : « Activation Function fait partie de Feed-Forward Network ».
- fait partie deFFN — Feed-Forward Networkréseau à propagation avant
- voir aussiNeural Networkréseau neuronal
- voir aussiHyperparameterhyperparamètre
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le