Fine-tuning.
En françaisajustement finAussi : adaptation fine · spécialisation d’un modèle
Poursuite de l’entraînement d’un modèle pré-entraîné sur des données ciblées.
Valeurs clés
taux d’apprentissage plus faible qu’en pré-entraînement · souvent 1 à 3 époques
Explication
L’ajustement modifie tout ou partie des paramètres pour rapprocher les sorties d’un domaine, d’un format ou d’un comportement. Le fine-tuning supervisé utilise des exemples avec réponses attendues ; des méthodes économes peuvent n’ajuster qu’une petite partie des paramètres.
Exemple
Un modèle général est entraîné sur des exemples validés de réponses au support technique.
Limites
Des données insuffisantes ou biaisées peuvent dégrader les capacités générales et créer une fausse impression de fiabilité.
Usages métiers
- Spécialisation métier
- Formatage de sortie
- Adaptation de ton
Métiers associés
- Ingénieur ML
- Responsable données
Compétences mobilisées
- Préparation de jeux de données
- Évaluation avant/après
Notions liées
- s’appuie surPretrainingpré-entraînement
- fait partie deSFT — Supervised Fine-Tuningajustement fin supervisé
- utiliseLoRA — Low-Rank Adaptationadaptation à rang faible
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le