Logprobs.
En françaislog-probabilitésAussi : log probabilities · logprob
Logarithme de la probabilité d’un token, que les API peuvent renvoyer avec la réponse.
Valeurs clés
logprob = ln(p) · 0 pour une certitude · ln(0,5) ≈ −0,69 · de plus en plus négatif pour un token improbable
Explication
Multiplier des milliers de petites probabilités donne des nombres trop petits pour un ordinateur ; additionner leurs logarithmes est stable. Les logprobs servent à mesurer la confiance du modèle, à calculer la perplexité ou à classer des réponses courtes.
Exemple
Un classifieur « oui / non » bâti sur un LLM lit le logprob du token « oui » plutôt que de se fier au texte seul.
Limites
Un logprob élevé mesure la confiance du modèle, pas la vérité de la réponse. Tous les modèles et toutes les API ne les exposent pas.
Notions liées
Chaque ligne se lit comme une phrase : « Logprobs utilise Softmax ».
- utiliseSoftmaxsoftmax
- voir aussiLogitslogits
- voir aussiCross-Entropy Lossperte d’entropie croisée
- voir aussiCalibrationcalibration
- voir aussiPPL — Perplexityperplexité
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le