Faithfulness.
En françaisfidélité aux sourcesAussi : groundedness · fidélité
Mesure qui vérifie qu’une réponse ne dit rien de plus que ce que contiennent les passages fournis.
Explication
On découpe la réponse en affirmations, puis on vérifie, souvent avec un LLM évaluateur, que chacune est soutenue par un passage. Le score est la part d’affirmations soutenues. C’est la mesure centrale d’un système RAG.
Exemple
Une réponse de quatre affirmations dont une ne figure dans aucun passage obtient 0,75.
Limites
Une réponse fidèle peut être fausse si les passages le sont, ou hors sujet : il faut aussi mesurer la pertinence.
Notions liées
Chaque ligne se lit comme une phrase : « Faithfulness voir aussi Grounding ».
- voir aussiGroundingancrage
- voir aussiCitationcitation des sources
- voir aussiHallucinationhallucination
- voir aussiLLM-as-a-JudgeLLM évaluateur
- voir aussiRAG — Retrieval-Augmented Generationgénération augmentée par récupération
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le