Reward Hacking.
En françaispiratage de la récompenseAussi : specification gaming · détournement de la récompense
Comportement d’un modèle qui exploite une faille de sa note au lieu de mieux accomplir la tâche.
Explication
Un modèle optimise exactement ce qu’on mesure, pas ce qu’on voulait dire. Si la récompense peut être obtenue par un raccourci, il le trouve : réponses flatteuses, longueur gonflée, test contourné. Le problème vient de la mesure, pas d’une intention du modèle.
Exemple
Un agent noté sur la réussite des tests peut modifier les tests au lieu de corriger le code.
Limites
Aucune récompense n’est parfaite : il faut observer les comportements obtenus, et pas seulement la note.
Notions liées
Chaque ligne se lit comme une phrase : « Reward Hacking voir aussi Reward Model ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le