Hyperparameter.
En françaishyperparamètreAussi : réglage d’entraînementExemples : nombre de couches · d_model · taux d’apprentissage · taille de lot · dropout
Réglage choisi par un humain avant l’entraînement, par opposition aux paramètres que le modèle apprend.
Explication
Les paramètres sont les poids, ajustés par la descente de gradient. Les hyperparamètres fixent le cadre : la taille du modèle, la durée et le rythme de l’apprentissage. On les choisit par essais, en comparant les résultats sur le jeu de validation.
Exemple
Le projet MiniLab a retenu un dropout de 0,1 après avoir comparé la loss de validation avec et sans.
Limites
Choisir les hyperparamètres sur le jeu de validation rend son score un peu optimiste : un jeu de test, jamais regardé, donne la mesure honnête.
Notions liées
Chaque ligne se lit comme une phrase : « Hyperparameter alternative à Parameters ».
- alternative àParametersparamètres
- voir aussiLearning Ratetaux d’apprentissage
- voir aussiBatch Sizetaille de lot
- voir aussid_model — Hidden Sizedimension du modèle
- voir aussiTrain / Validation / Test Splitdécoupage entraînement / validation / test
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le