Perplexity (PPL).
En françaisperplexitéAussi : perplexity score
Mesure de la surprise d’un modèle face à un texte : le nombre moyen de choix entre lesquels il hésite.
Valeurs clés
PPL = exp(perte moyenne) · 1 = parfait · V = hasard uniforme sur le vocabulaire
Explication
Une perplexité de 20 signifie que le modèle est en moyenne aussi incertain que s’il choisissait entre 20 tokens équiprobables. Plus elle est basse, mieux le modèle prédit ce texte.
Exemple
Une perte moyenne de 3,0 correspond à une perplexité d’environ 20.
Limites
Comparable seulement entre modèles au même tokenizer ; ne mesure ni l’utilité ni la vérité des réponses.
Usages métiers
- Suivi d’entraînement
Métiers associés
- Chercheur ML
Compétences mobilisées
- Probabilités
Notions liées
- s’appuie surCross-Entropy Lossperte d’entropie croisée
- fait partie deLLM Evaluationévaluation des modèles de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le