Softmax.
En françaissoftmaxAussi : fonction exponentielle normalisée
Fonction qui transforme une liste de scores en une distribution de probabilités positive dont la somme vaut 1.
Valeurs clés
pᵢ = e^(zᵢ) / Σⱼ e^(zⱼ) · chaque pᵢ ∈ ]0, 1[ et Σ pᵢ = 1
Explication
L’exponentielle accentue les écarts : le plus grand score prend l’essentiel de la masse. Le softmax intervient à la sortie du modèle et à l’intérieur de l’attention.
Exemple
Les scores [2, 1, 0] deviennent environ [0,67 ; 0,24 ; 0,09].
Limites
Sensible aux très grandes valeurs : les implémentations soustraient le maximum pour éviter les débordements.
Usages métiers
- Probabilités de sortie
- Poids d’attention
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Calcul numérique
Notions liées
Chaque ligne se lit comme une phrase : « Softmax utilise Logits ».
- utiliseLogitslogits
- voir aussiTemperaturetempérature
- voir aussiSelf-Attentionauto-attention
- voir aussiLogprobslog-probabilités
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le