Cross-Entropy Loss.
En françaisperte d’entropie croiséeAussi : loss · perte · fonction de perte · log loss
Fonction de perte qui mesure à quel point le modèle a attribué une faible probabilité au bon token.
Valeurs clés
L = −log p(token correct) · modèle uniforme : L = ln V (GPT-2 : ln 50 257 ≈ 10,8)
Explication
Si le modèle donne une probabilité de 1 au bon token, la perte vaut 0 ; s’il lui donne 0,01, elle vaut environ 4,6. L’entraînement cherche à réduire la moyenne de cette perte sur le corpus.
Exemple
Au tout début de l’entraînement, la perte est proche de ln V, celle d’un tirage au hasard.
Limites
Une perte basse sur l’entraînement ne garantit rien sur de nouvelles données : surveiller la perte de validation.
Usages métiers
- Entraînement
- Évaluation
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Probabilités
- PyTorch
Notions liées
- utiliseGradient Descentdescente de gradient
- fait partie dePPL — Perplexityperplexité
- utiliseSoftmaxsoftmax
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le