Data Contamination.
En françaiscontamination des données d’évaluationAussi : benchmark leakage · fuite de test
Présence des questions d’un benchmark dans les données d’entraînement, qui gonfle artificiellement les scores.
Explication
Les corpus web contiennent souvent des benchmarks publics. Le modèle peut alors réciter des réponses au lieu de les trouver.
Exemple
Un modèle réussit parfaitement un test public mais échoue sur des questions équivalentes reformulées.
Limites
Difficile à prouver sans accès aux données d’entraînement.
Usages métiers
- Lecture critique des scores
Métiers associés
- Chercheur IA
Compétences mobilisées
- Analyse de corpus
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le