Regression Testing.
En françaistests de non-régressionAussi : regression evals · évaluation continue
Rejouer le jeu d’évaluation à chaque changement de prompt, de modèle ou de code, pour vérifier que rien ne s’est dégradé.
Explication
Corriger un cas en casse souvent un autre. Comme pour les tests d’un logiciel, on relance tout le jeu d’évaluation avant chaque mise en ligne et l’on compare les scores à ceux de la version précédente.
Exemple
Avant de migrer vers un nouveau modèle, l’équipe vérifie que les 200 cas de référence passent toujours.
Limites
Les réponses varient d’un appel à l’autre : fixer la seed quand c’est possible, et raisonner sur des taux de réussite plutôt que sur un seul essai.
Notions liées
Chaque ligne se lit comme une phrase : « Regression Testing utilise Eval Set ».
- utiliseEval Setjeu d’évaluation
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiModel Deprecationretrait d’un modèle
- voir aussiSeedgraine aléatoire
- voir aussiA/B Testingtest A/B
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le