On-device Inference.
En françaisinférence embarquéeAussi : inférence locale · local inference · edge AI
Faire tourner le modèle sur l’appareil de l’utilisateur, téléphone ou ordinateur, plutôt que sur un serveur.
Explication
Les données ne quittent pas l’appareil, il n’y a ni coût par requête ni besoin de connexion. En échange, il faut un modèle assez petit, généralement quantifié, pour tenir dans la mémoire disponible.
Exemple
Ollama ou llama.cpp font tourner un modèle de quelques milliards de paramètres sur un ordinateur portable.
Limites
Les modèles qui tiennent sur un appareil sont moins capables que ceux des serveurs, et la vitesse dépend fortement du matériel.
Notions liées
Chaque ligne se lit comme une phrase : « On-device Inference est un type de Inference ».
- est un type deInferenceinférence
- utiliseQuantizationquantification numérique
- utiliseGGUFformat GGUF
- voir aussiSLM — Small Language Modelpetit modèle de langage
- voir aussiVRAMmémoire vidéo
- voir aussiOpen-weight Modelmodèle à poids ouverts
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le