LLM Evaluation.
En françaisévaluation des modèles de langageAussi : évaluation LLM · evals
Mesure systématique de la qualité et des risques d’un modèle sur des tâches et critères définis.
Explication
Une évaluation combine des jeux d’exemples, des métriques, des jugements humains et parfois des tests automatiques. Les résultats n’ont de sens qu’avec une tâche, un protocole et un échantillon décrits.
Exemple
Un jeu représentatif compare la justesse d’extraction avant et après une modification de prompt.
Limites
Un score agrégé masque des erreurs rares et dépend du jeu de test ; un évaluateur modèle peut lui-même être biaisé.
Usages métiers
- Choix de modèle
- Suivi de régression
- Mise en production
Métiers associés
- Évaluateur IA
- Data scientist
Compétences mobilisées
- Méthodes expérimentales
- Analyse statistique
Notions liées
Chaque ligne se lit comme une phrase : « LLM Evaluation utilise Eval Set ».
- utiliseEval Setjeu d’évaluation
- utiliseBenchmarkbanc d’essai comparatif
- voir aussiLLM-as-a-JudgeLLM évaluateur
- voir aussiHuman Evaluationévaluation humaine
- voir aussiRegression Testingtests de non-régression
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le