Reinforcement Learning from Human Feedback (RLHF).
En françaisapprentissage par renforcement à partir de retours humainsAussi : apprentissage par renforcement avec retours humains
Famille de méthodes qui utilise des préférences humaines pour orienter le comportement d’un modèle.
Valeurs clés
pipeline InstructGPT : SFT → modèle de récompense → optimisation PPO
Explication
Un pipeline classique collecte des comparaisons de réponses, apprend un modèle de récompense, puis optimise le modèle de langage. D’autres méthodes et variantes existent ; le terme couvre plusieurs choix de conception.
Exemple
Des annotateurs préfèrent une réponse plus exacte et prudente à une réponse trop affirmative.
Limites
Les préférences sont coûteuses, variables et sensibles aux consignes ; l’optimisation peut exploiter les défauts du modèle de récompense.
Usages métiers
- Ajustement des réponses conversationnelles
Métiers associés
- Chercheur ML
- Spécialiste évaluation
Compétences mobilisées
- Collecte de préférences
- Optimisation de modèles
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le