Calibration.
En françaiscalibrationAussi : calibrage · confiance calibrée
Accord entre la confiance qu’affiche un modèle et la fréquence à laquelle il a réellement raison.
Explication
Un modèle bien calibré qui annonce 80 % de confiance a raison environ huit fois sur dix. On le vérifie en regroupant les prédictions par niveau de confiance, puis en comparant à la justesse observée dans chaque groupe.
Exemple
Parmi les réponses données avec un logprob correspondant à 90 %, seules 60 % sont justes : le modèle est trop sûr de lui.
Limites
La confiance d’un token ne dit pas la justesse d’une réponse entière, et un modèle peut être fluide et sûr de lui tout en se trompant.
Notions liées
Chaque ligne se lit comme une phrase : « Calibration voir aussi Logprobs ».
- voir aussiLogprobslog-probabilités
- voir aussiHallucinationhallucination
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiSycophancycomplaisance
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le