Reward Model.
En françaismodèle de récompenseAussi : modèle de préférence
Modèle entraîné à noter une réponse comme le ferait un annotateur humain.
Explication
Dans le RLHF, des annotateurs comparent deux réponses à la même question. Ces préférences entraînent un second modèle, qui apprend à donner une note à n’importe quelle réponse. Il remplace ensuite les humains pour guider l’assistant pendant l’apprentissage par renforcement.
Exemple
Entre une réponse polie et exacte et une réponse sèche et vague, le modèle de récompense note la première plus haut.
Limites
Il n’est qu’une approximation du jugement humain : l’assistant peut apprendre à plaire au modèle de récompense plutôt qu’aux personnes.
Notions liées
Chaque ligne se lit comme une phrase : « Reward Model fait partie de Reinforcement Learning from Human Feedback ».
- fait partie deRLHF — Reinforcement Learning from Human Feedbackapprentissage par renforcement à partir de retours humains
- voir aussiReward Hackingpiratage de la récompense
- voir aussiDPO — Direct Preference Optimizationoptimisation directe des préférences
- voir aussiRL — Reinforcement Learningapprentissage par renforcement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le