Small Language Model (SLM).
En françaispetit modèle de langageAussi : modèle compact
Modèle de langage de quelques milliards de paramètres au plus, assez léger pour tourner sur un ordinateur personnel ou un téléphone.
Valeurs clés
ordre de grandeur : de 100 millions à quelques milliards de paramètres
Explication
Il n’existe pas de seuil officiel : « petit » se définit par rapport aux plus grands modèles du moment. Un SLM répond plus vite, coûte moins cher et peut fonctionner sans connexion, au prix de connaissances et de capacités de raisonnement plus limitées.
Exemple
Un modèle de 2 milliards de paramètres, quantifié sur 4 bits, tient dans environ 1,5 Go de mémoire.
Limites
Il suit moins bien les consignes complexes et hallucine davantage : à réserver aux tâches étroites et bien cadrées.
Notions liées
Chaque ligne se lit comme une phrase : « Small Language Model est un type de Large Language Model ».
- est un type deLLM — Large Language Modelgrand modèle de langage
- voir aussiOn-device Inferenceinférence embarquée
- voir aussiQuantizationquantification numérique
- voir aussiKnowledge Distillationdistillation de connaissances
- voir aussiModel Routingroutage de modèles
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le