SWE-bench.
En françaisSWE-benchAussi : SWE-bench Verified
Banc d’essai qui demande à un agent de corriger de vrais tickets issus de dépôts logiciels open source.
Explication
Chaque tâche fournit un dépôt et la description d’un bug réel. L’agent doit produire un correctif ; il est validé si les tests du projet, y compris ceux écrits pour ce bug, passent. C’est devenu la référence pour comparer les agents de code.
Exemple
L’agent lit le ticket, explore le dépôt, modifie deux fichiers et lance les tests.
Limites
Les dépôts sont publics, donc peut-être vus à l’entraînement, et réussir ces tâches ne garantit rien sur votre propre base de code.
Notions liées
Chaque ligne se lit comme une phrase : « SWE-bench est un type de Benchmark ».
- est un type deBenchmarkbanc d’essai comparatif
- voir aussiTrajectorytrajectoire
- voir aussiData Contaminationcontamination des données d’évaluation
- voir aussipass@k (HumanEval)taux de réussite en k essais
- voir aussiCoding Agent CLIagent de développement en ligne de commande
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le