A/B Testing.
En françaistest A/BAussi : expérimentation en ligne · online evaluation
Comparer deux versions d’une application en servant chacune à une partie des utilisateurs réels.
Explication
Une évaluation hors ligne dit ce qui devrait marcher ; un test A/B dit ce qui marche vraiment. On répartit le trafic au hasard entre la version actuelle et la nouvelle, puis on compare une mesure d’usage : satisfaction, taux de résolution, abandon.
Exemple
La moitié des utilisateurs reçoit le nouveau prompt ; on compare la proportion de réponses jugées utiles.
Limites
Il faut assez de trafic pour conclure, et les utilisateurs servent de testeurs : à réserver aux versions déjà validées hors ligne.
Notions liées
Chaque ligne se lit comme une phrase : « A/B Testing fait partie de LLM Evaluation ».
- fait partie deLLM Evaluationévaluation des modèles de langage
- voir aussiRegression Testingtests de non-régression
- voir aussiHuman Evaluationévaluation humaine
- voir aussiObservabilityobservabilité
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le