LLM-as-a-Judge.
En françaisLLM évaluateurAussi : model-graded eval · évaluation par modèle · grader
Utilisation d’un modèle de langage pour noter ou comparer les réponses d’un autre système.
Explication
Le juge reçoit une grille de critères et la réponse à évaluer. Cela permet d’évaluer des milliers de réponses ouvertes à moindre coût.
Exemple
Un juge note de 1 à 5 la fidélité de chaque réponse aux documents fournis.
Limites
Biais de position, de longueur et préférence pour son propre style : calibrer sur des notes humaines.
Usages métiers
- Évaluation continue
Métiers associés
- Évaluateur IA
Compétences mobilisées
- Conception de grilles
Notions liées
- fait partie deLLM Evaluationévaluation des modèles de langage
- évalueHallucinationhallucination
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le