Benchmark.
En françaisbanc d’essai comparatifAussi : jeu de référence · test comparatif
Protocole standardisé de tâches et mesures utilisé pour comparer des systèmes.
Explication
Un benchmark précise des données, tâches, métriques et règles de notation. Sa reproductibilité facilite la comparaison, mais sa représentativité doit être examinée au regard de l’usage visé.
Exemple
Deux modèles passent le même jeu de questions avec la même méthode de notation.
Limites
Les modèles peuvent être exposés aux données du benchmark ; un bon score n’implique pas une bonne performance métier.
Usages métiers
- Comparaison de modèles
- Suivi de versions
Métiers associés
- Chercheur IA
- Acheteur technique
Compétences mobilisées
- Statistiques
- Conception de jeux de test
Notions liées
- fait partie deLLM Evaluationévaluation des modèles de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le