Eval Set.
En françaisjeu d’évaluationAussi : golden set · jeu de référence · dataset d’évaluation
Ensemble de questions et de réponses attendues, propre à votre application, sur lequel on mesure chaque version.
Explication
Un benchmark public dit ce qu’un modèle sait faire en général ; un jeu d’évaluation dit s’il fait bien votre tâche. On le construit à partir de cas réels, y compris les cas difficiles, et on le rejoue à chaque changement de prompt ou de modèle.
Exemple
Cinquante questions de clients, avec pour chacune les éléments que la réponse doit contenir.
Limites
Un jeu trop petit ou trop facile rassure à tort ; il faut l’enrichir avec les échecs observés en production.
Notions liées
Chaque ligne se lit comme une phrase : « Eval Set fait partie de LLM Evaluation ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le