Observability.
En françaisobservabilitéAussi : LLM observability · tracing · traçage
Enregistrer ce que fait une application LLM en production : appels, prompts, outils, coûts et latences.
Explication
Chaque requête laisse une trace : les étapes parcourues, les tokens consommés, le temps passé, les erreurs. Ces traces servent à déboguer un cas précis, à suivre les coûts et à repérer une dégradation après un changement de prompt ou de modèle.
Exemple
Une trace révèle qu’une réponse lente passait 8 secondes dans un outil de recherche, et non dans le modèle.
Limites
Les traces contiennent les messages des utilisateurs : elles relèvent des mêmes règles de confidentialité que les données elles-mêmes.
Notions liées
Chaque ligne se lit comme une phrase : « Observability voir aussi Trajectory ».
- voir aussiTrajectorytrajectoire
- voir aussiLatencylatence
- voir aussiLLM Evaluationévaluation des modèles de langage
- voir aussiPII — Personally Identifiable Informationdonnées personnelles
- voir aussiLLM Gatewaypasserelle LLM
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le