Logits.
En françaislogitsAussi : scores bruts · scores non normalisés
Scores bruts, non normalisés, produits par la dernière couche du modèle pour chaque token du vocabulaire.
Valeurs clés
un nombre réel par token du vocabulaire (GPT-2 : 50 257 logits par position)
Explication
Les logits peuvent être négatifs ou très grands. Le softmax les transforme en probabilités. Les paramètres de génération (température, top-k, pénalités) agissent directement sur eux.
Exemple
Un logit de 8,2 pour « canapé » et de 1,5 pour « nuage » donnera une probabilité bien plus forte au premier.
Limites
Seul l’écart entre logits compte : ajouter la même constante à tous ne change pas les probabilités.
Usages métiers
- Échantillonnage
- Calcul de la perte
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Probabilités
Notions liées
- utiliseSoftmaxsoftmax
- s’appuie surVocabularyvocabulaire
- utiliseTemperaturetempérature
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le