Softmax.
En françaissoftmaxAussi : fonction exponentielle normalisée
Fonction qui transforme une liste de scores en une distribution de probabilités positive dont la somme vaut 1.
Valeurs clés
pᵢ = e^(zᵢ) / Σⱼ e^(zⱼ) · chaque pᵢ ∈ ]0, 1[ et Σ pᵢ = 1
Explication
L’exponentielle accentue les écarts : le plus grand score prend l’essentiel de la masse. Le softmax intervient à la sortie du modèle et à l’intérieur de l’attention.
Exemple
Les scores [2, 1, 0] deviennent environ [0,67 ; 0,24 ; 0,09].
Limites
Sensible aux très grandes valeurs : les implémentations soustraient le maximum pour éviter les débordements.
Usages métiers
- Probabilités de sortie
- Poids d’attention
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Calcul numérique
Notions liées
- s’appuie surLogitslogits
- fait partie deSelf-Attentionauto-attention
- utiliseTemperaturetempérature
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le