Model Merging.
En françaisfusion de modèlesAussi : merge · fusion de poids
Combiner les poids de plusieurs modèles fine-tunés à partir du même modèle de base, sans nouvel entraînement.
Explication
Comme ces modèles partagent la même origine, leurs poids restent comparables : on peut les moyenner ou additionner leurs écarts au modèle de base. On obtient un modèle qui cumule, en partie, les compétences de chacun.
Exemple
Fusionner un modèle spécialisé en code et un modèle spécialisé en français, tous deux issus du même modèle de base.
Limites
Le résultat est imprévisible et se juge à l’évaluation ; fusionner des modèles d’origines différentes ne fonctionne pas.
Notions liées
Chaque ligne se lit comme une phrase : « Model Merging voir aussi Fine-tuning ».
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le