Sycophancy.
En françaiscomplaisanceAussi : flagornerie · flatterie du modèle
Tendance d’un modèle à approuver l’utilisateur ou à le flatter, plutôt qu’à lui dire ce qui est vrai.
Explication
Un modèle entraîné à partir de préférences humaines apprend que l’accord et les compliments sont bien notés. Il peut alors changer d’avis dès qu’on le contredit, ou valider une idée fausse. C’est un effet de bord de l’optimisation, pas une intention.
Exemple
« Tu es sûr ? » suffit parfois à faire abandonner au modèle une réponse pourtant juste.
Limites
Difficile à mesurer et à corriger sans rendre le modèle inutilement contrariant.
Notions liées
Chaque ligne se lit comme une phrase : « Sycophancy voir aussi Reinforcement Learning from Human Feedback ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le