GGUF.
En françaisformat GGUFAussi : GGML · Q4_K_M · Q8_0
Format de fichier pour modèles quantifiés, conçu pour llama.cpp et l’exécution locale.
Valeurs clés
niveaux courants : Q4_K_M, Q5_K_M, Q8_0
Explication
Un fichier GGUF regroupe les poids quantifiés, le tokenizer et les métadonnées. Ollama et d’autres outils locaux s’appuient sur ce format.
Exemple
On télécharge la version Q4_K_M d’un modèle pour le lancer sur un ordinateur portable.
Limites
Les niveaux de quantification bas réduisent la qualité ; pas destiné à l’entraînement.
Usages métiers
- Exécution locale
Métiers associés
- Développeur IA
Compétences mobilisées
- llama.cpp
- Ollama
Notions liées
- utiliseQuantizationquantification numérique
- fait partie deOpen-weight Modelmodèle à poids ouverts
- amélioreInferenceinférence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le