Human Evaluation.
En françaisévaluation humaineAussi : annotation humaine · human review
Notes données par des personnes aux réponses d’un modèle, selon une grille de critères.
Explication
C’est la référence à laquelle on compare toutes les mesures automatiques. Les annotateurs notent l’exactitude, l’utilité ou le ton, ou choisissent la meilleure de deux réponses. Une grille précise et plusieurs annotateurs par exemple réduisent les désaccords.
Exemple
Trois relecteurs notent de 1 à 5 la justesse de cent réponses, sans savoir quel modèle les a écrites.
Limites
Lente, coûteuse et sujette aux désaccords : on la réserve à un échantillon, et à l’étalonnage des évaluations automatiques.
Notions liées
Chaque ligne se lit comme une phrase : « Human Evaluation fait partie de LLM Evaluation ».
- fait partie deLLM Evaluationévaluation des modèles de langage
- alternative àLLM-as-a-JudgeLLM évaluateur
- voir aussiA/B Testingtest A/B
- voir aussiElo Ratingclassement Elo
- voir aussiEval Setjeu d’évaluation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le