Model Routing.
En françaisroutage de modèlesAussi : routeur de modèles · LLM router
Envoyer chaque requête vers le modèle le plus adapté : un petit modèle pour les demandes simples, un grand pour les difficiles.
Explication
Un classifieur, ou un petit modèle, estime la difficulté de la demande et choisit la destination. On réduit ainsi le coût et la latence moyens sans dégrader les réponses qui exigent un grand modèle.
Exemple
Les salutations et les reformulations partent vers un petit modèle ; les questions d’analyse, vers un modèle de raisonnement.
Limites
Un mauvais aiguillage envoie une question difficile au petit modèle : il faut évaluer le routeur lui-même.
Notions liées
Chaque ligne se lit comme une phrase : « Model Routing voir aussi LLM Gateway ».
- voir aussiLLM Gatewaypasserelle LLM
- voir aussiSLM — Small Language Modelpetit modèle de langage
- voir aussiLatencylatence
- voir aussiLLM Evaluationévaluation des modèles de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le