Interpretability.
En françaisinterprétabilitéAussi : mechanistic interpretability · interprétabilité mécaniste
Étude de ce que calculent réellement les couches d’un modèle, pour comprendre pourquoi il produit une réponse.
Explication
Un réseau de neurones n’est pas programmé : ses poids sont appris, et personne ne sait d’avance ce que fait chaque neurone. L’interprétabilité observe les activations, cherche les directions qui correspondent à des concepts et tente de reconstituer les mécanismes à l’œuvre.
Exemple
Repérer, dans les activations, une direction qui s’allume quand le texte parle d’une ville.
Limites
Champ de recherche jeune : les explications obtenues sont partielles et ne valent pas preuve de sûreté.
Notions liées
Chaque ligne se lit comme une phrase : « Interpretability voir aussi Sparse Autoencoder ».
- voir aussiSAE — Sparse Autoencoderauto-encodeur parcimonieux
- voir aussiResidual Streamflux résiduel
- voir aussiNeural Networkréseau neuronal
- voir aussiAlignmentalignement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le