Logits.
En françaislogitsAussi : scores bruts · scores non normalisés
Scores bruts, non normalisés, produits par la dernière couche du modèle pour chaque token du vocabulaire.
Valeurs clés
un nombre réel par token du vocabulaire (GPT-2 : 50 257 logits par position)
Explication
Les logits peuvent être négatifs ou très grands. Le softmax les transforme en probabilités. Les paramètres de génération (température, top-k, pénalités) agissent directement sur eux.
Exemple
Un logit de 8,2 pour « canapé » et de 1,5 pour « nuage » donnera une probabilité bien plus forte au premier.
Limites
Seul l’écart entre logits compte : ajouter la même constante à tous ne change pas les probabilités.
Usages métiers
- Échantillonnage
- Calcul de la perte
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Probabilités
Notions liées
Chaque ligne se lit comme une phrase : « Logits voir aussi Softmax ».
- voir aussiSoftmaxsoftmax
- voir aussiLogprobslog-probabilités
- voir aussiTemperaturetempérature
- voir aussiWeight Tyingpartage des poids
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le