Loss Masking.
En françaismasquage de la lossAussi : train on completions only · masque de loss
Pendant le fine-tuning, ne compter dans la loss que les tokens de la réponse de l’assistant.
Valeurs clés
PyTorch : cible à −100, ignorée par défaut par l’entropie croisée
Explication
Un exemple de fine-tuning contient les instructions, la question et la réponse. Le modèle lit tout, mais on ne veut pas qu’il apprenne à écrire les questions. On marque donc les cibles hors réponse pour que la loss les ignore : seul ce que l’assistant doit écrire, et le moment de s’arrêter, est corrigé.
Exemple
Dans le projet MiniLab, seuls les tokens de la réponse et son <|im_end|> comptent ; les autres cibles valent −100.
Limites
Sans masque, le modèle apprend aussi à imiter l’utilisateur et le system prompt, ce qui dégrade ses réponses.
Notions liées
Chaque ligne se lit comme une phrase : « Loss Masking fait partie de Supervised Fine-Tuning ».
- fait partie deSFT — Supervised Fine-Tuningajustement fin supervisé
- utiliseCross-Entropy Lossperte d’entropie croisée
- voir aussiChat Templategabarit de conversation
- voir aussiFine-tuningajustement fin
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le