Dropout.
En françaisabandon aléatoireAussi : dropout rate
Régularisation qui met à zéro, au hasard, une fraction des activations pendant l’entraînement.
Valeurs clés
0,1 dans le Transformer original · souvent 0 dans les grands pré-entraînements
Explication
Le réseau ne peut plus compter sur un seul neurone et apprend des représentations plus robustes. Le dropout est désactivé à l’inférence.
Exemple
Avec un taux de 0,1, une activation sur dix est ignorée à chaque pas.
Limites
Ralentit la convergence ; inutile quand les données sont assez nombreuses pour éviter le surapprentissage.
Usages métiers
- Petits jeux de données
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Régularisation
Notions liées
- amélioreOverfittingsurapprentissage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le