BLEU / ROUGE.
En françaisBLEU / ROUGEAussi : métriques de recouvrement · n-gram overlap
Mesures qui comparent un texte produit à un texte de référence en comptant les suites de mots qu’ils partagent.
Explication
BLEU vient de la traduction automatique et regarde quelle part du texte produit se retrouve dans la référence. ROUGE vient du résumé et regarde quelle part de la référence se retrouve dans le texte produit. Elles se calculent vite, sans modèle.
Exemple
Un résumé qui reprend les mêmes groupes de mots que le résumé de référence obtient un ROUGE élevé.
Limites
Statut « Historique » pour les LLM : elles pénalisent une bonne reformulation et ne mesurent ni l’exactitude ni le sens. On leur préfère aujourd’hui un LLM évaluateur ou une évaluation humaine.
Notions liées
Chaque ligne se lit comme une phrase : « BLEU / ROUGE alternative à LLM-as-a-Judge ».
- alternative àLLM-as-a-JudgeLLM évaluateur
- alternative àHuman Evaluationévaluation humaine
- voir aussiEM — Exact Match / F1correspondance exacte / F1
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiN-gramn-gramme
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le