pass@k (HumanEval).
En françaistaux de réussite en k essaisAussi : HumanEval · pass@1
Métrique de génération de code : probabilité qu’au moins une solution sur k tentatives passe les tests unitaires.
Valeurs clés
HumanEval : 164 problèmes Python · pass@1 = part résolue du premier coup
Explication
Le code généré est exécuté contre des tests ; on mesure donc le fonctionnement, pas la ressemblance textuelle.
Exemple
pass@1 = 80 % : 4 problèmes sur 5 sont résolus au premier essai.
Limites
Exécuter du code généré exige un bac à sable ; les problèmes courts représentent mal le travail réel.
Usages métiers
- Évaluer des modèles de code
Métiers associés
- Chercheur IA
Compétences mobilisées
- Tests unitaires
Notions liées
- fait partie deBenchmarkbanc d’essai comparatif
- fait partie deLLM Evaluationévaluation des modèles de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le