Loss Function.
En françaisfonction de perteAussi : loss · perte · fonction de coût · objective functionExemples : entropie croisée · erreur quadratique moyenne
Mesure de l’erreur du modèle, que l’entraînement cherche à réduire.
Valeurs clés
modèle de langage au hasard : loss = ln(taille du vocabulaire), soit 6,93 pour 1 024 tokens
Explication
La loss résume en un seul nombre l’écart entre les prédictions et les bonnes réponses : plus elle est basse, mieux le modèle prédit. Tout l’entraînement consiste à la faire descendre. Pour un modèle de langage, c’est l’entropie croisée.
Exemple
Pendant le pré-entraînement du projet MiniLab, la loss de validation passe de 6,95 à environ 4,12.
Limites
Une loss d’entraînement très basse ne prouve rien : seule la loss de validation dit si le modèle a appris ou récité.
Notions liées
Chaque ligne se lit comme une phrase : « Loss Function voir aussi Cross-Entropy Loss ».
- voir aussiCross-Entropy Lossperte d’entropie croisée
- voir aussiGradientgradient
- voir aussiGradient Descentdescente de gradient
- voir aussiPPL — Perplexityperplexité
- voir aussiOverfittingsurapprentissage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le