Knowledge Distillation.
En françaisdistillation de connaissancesAussi : distillation · teacher-student · enseignant-élève
Entraînement d’un petit modèle (élève) à imiter les sorties d’un grand modèle (enseignant).
Explication
L’élève apprend des probabilités ou des réponses produites par l’enseignant, souvent plus riches qu’une simple étiquette. On obtient un modèle plus rapide et moins coûteux pour une tâche donnée.
Exemple
Les réponses d’un grand modèle sur 10 000 tickets servent à ajuster un petit modèle de support.
Limites
L’élève hérite des erreurs de l’enseignant ; les conditions d’utilisation des sorties doivent le permettre.
Usages métiers
- Réduire le coût d’inférence
Métiers associés
- Ingénieur ML
Compétences mobilisées
- Fine-tuning
Notions liées
- utiliseFine-tuningajustement fin
- amélioreInferenceinférence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le