Pretraining.
En françaispré-entraînementAussi : préapprentissage · entraînement initial
Phase initiale où un modèle apprend des régularités à partir d’un vaste corpus.
Valeurs clés
objectif : minimiser la perte d’entropie croisée sur le token suivant
Explication
Pour un modèle autorégressif, une tâche courante consiste à prédire le token suivant. L’optimisation ajuste les paramètres en réduisant une fonction de perte sur les exemples d’entraînement.
Exemple
Le modèle apprend à compléter des séquences de texte sans recevoir encore des instructions métier spécifiques.
Limites
Les performances dépendent fortement des données, du calcul et de l’évaluation ; un pré-entraînement n’assure pas un comportement d’assistant.
Usages métiers
- Créer un modèle de base
- Adapter un modèle à un domaine
Métiers associés
- Chercheur ML
- Ingénieur entraînement
Compétences mobilisées
- PyTorch
- Optimisation
- Gestion de corpus
Notions liées
- amélioreFine-tuningajustement fin
- utiliseTraining Datadonnées d’entraînement
- fait partie deLLM — Large Language Modelgrand modèle de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le