Exact Match / F1 (EM).
En françaiscorrespondance exacte / F1Aussi : exact match · score F1
Deux mesures de la justesse d’une réponse courte, comparée à une réponse de référence.
Valeurs clés
EM : 1 si la réponse est identique, 0 sinon · F1 = 2 × précision × rappel ÷ (précision + rappel), calculé sur les mots
Explication
La correspondance exacte ne pardonne rien : un mot de plus et la réponse compte pour fausse. Le score F1 est plus souple : il mesure la part de mots communs entre la réponse et la référence.
Exemple
Référence « Phileas Fogg », réponse « Monsieur Phileas Fogg » : EM = 0, F1 = 0,8.
Limites
Inadaptées aux réponses longues ou reformulées : deux phrases de même sens peuvent n’avoir presque aucun mot commun.
Notions liées
Chaque ligne se lit comme une phrase : « Exact Match / F1 voir aussi LLM Evaluation ».
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiBenchmarkbanc d’essai comparatif
- voir aussiBLEU / ROUGEBLEU / ROUGE
- voir aussiLLM-as-a-JudgeLLM évaluateur
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le