Elo Rating.
En françaisclassement EloAussi : arena score · classement par duels
Classement de modèles établi à partir de duels : deux réponses anonymes à la même question, départagées par un votant.
Explication
Chaque modèle possède un score. Quand il gagne un duel, il prend des points à son adversaire, d’autant plus que celui-ci était mieux classé. Après des milliers de votes, les scores reflètent les préférences des utilisateurs. La méthode vient des échecs.
Exemple
Un écart de 100 points correspond à environ 64 % de victoires pour le modèle le mieux classé.
Limites
Mesure une préférence, pas l’exactitude : un style agréable peut l’emporter sur une réponse juste, et le classement dépend des questions posées.
Notions liées
Chaque ligne se lit comme une phrase : « Elo Rating voir aussi Human Evaluation ».
- voir aussiHuman Evaluationévaluation humaine
- voir aussiBenchmarkbanc d’essai comparatif
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiSycophancycomplaisance
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le