LLM Gateway.
En françaispasserelle LLMAussi : AI gateway · proxy LLM
Point d’entrée unique, placé entre les applications et plusieurs fournisseurs de modèles.
Explication
Toutes les requêtes passent par elle : elle détient les clés d’API, applique les quotas par équipe, journalise les appels, bascule vers un autre fournisseur en cas de panne et offre une seule interface, quel que soit le modèle.
Exemple
Une entreprise fait passer tous ses appels par une passerelle pour suivre les coûts par projet.
Limites
Un composant de plus à maintenir, et un point de passage critique : s’il tombe, plus rien ne répond.
Notions liées
Chaque ligne se lit comme une phrase : « LLM Gateway voir aussi Application Programming Interface ».
- voir aussiAPI — Application Programming Interfaceinterface de programmation applicative
- voir aussiRate Limitslimites de débit
- voir aussiModel Routingroutage de modèles
- voir aussiObservabilityobservabilité
- voir aussiGuardrailsgarde-fous
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le