LLM Evaluation.
En françaisévaluation des modèles de langageAussi : évaluation LLM · benchmark LLM
Mesure systématique de la qualité et des risques d’un modèle sur des tâches et critères définis.
Explication
Une évaluation combine des jeux d’exemples, des métriques, des jugements humains et parfois des tests automatiques. Les résultats n’ont de sens qu’avec une tâche, un protocole et un échantillon décrits.
Exemple
Un jeu représentatif compare la justesse d’extraction avant et après une modification de prompt.
Limites
Un score agrégé masque des erreurs rares et dépend du jeu de test ; un évaluateur modèle peut lui-même être biaisé.
Usages métiers
- Choix de modèle
- Suivi de régression
- Mise en production
Métiers associés
- Évaluateur IA
- Data scientist
Compétences mobilisées
- Méthodes expérimentales
- Analyse statistique
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le