Massive Multitask Language Understanding (MMLU).
En françaiscompréhension multitâche massiveAussi : benchmark MMLU
Benchmark de questions à choix multiples couvrant 57 matières, des mathématiques au droit.
Valeurs clés
57 matières · QCM à 4 choix · hasard = 25 %
Explication
Il mesure les connaissances générales et le raisonnement d’un modèle. Longtemps une référence, il est aujourd’hui proche de la saturation pour les meilleurs modèles.
Exemple
Un modèle obtient 70 % : il répond juste à 7 questions sur 10.
Limites
Risque de contamination ; quelques questions contiennent des erreurs ; mesure peu l’usage réel.
Usages métiers
- Comparer des modèles
Métiers associés
- Chercheur IA
Compétences mobilisées
- Lecture de benchmarks
Notions liées
- fait partie deBenchmarkbanc d’essai comparatif
- menace pourData Contaminationcontamination des données d’évaluation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le