Direct Preference Optimization (DPO).
En françaisoptimisation directe des préférencesAussi : apprentissage par préférences
Méthode d’alignement qui entraîne directement le modèle sur des paires de réponses préférées et rejetées, sans modèle de récompense séparé.
Valeurs clés
TRL : beta = 0,1 par défaut · données : (prompt, réponse préférée, réponse rejetée)
Explication
DPO transforme l’objectif de RLHF en une perte de classification simple. Le paramètre β contrôle l’écart autorisé avec le modèle de référence.
Exemple
Pour une même question, on montre une réponse claire (préférée) et une réponse vague (rejetée).
Limites
Sensible à la qualité des paires ; peut sur-optimiser le style au détriment du fond.
Usages métiers
- Ajuster un assistant
Métiers associés
- Ingénieur ML
Compétences mobilisées
- TRL
- Collecte de préférences
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le