Quantized Low-Rank Adaptation (QLoRA).
En françaisLoRA quantifiéAussi : LoRA 4 bits
Variante de LoRA qui charge le modèle de base en 4 bits pour réduire fortement la mémoire du fine-tuning.
Valeurs clés
modèle de base gelé en 4 bits (NF4) · fine-tuning d’un modèle de 65 G sur un GPU de 48 Go
Explication
Les poids d’origine restent quantifiés et gelés ; seuls les adaptateurs LoRA, en précision plus élevée, sont entraînés. On peut ainsi ajuster de grands modèles sur un seul GPU.
Exemple
Un modèle de 7 G de paramètres est ajusté sur une carte graphique grand public.
Limites
Plus lent qu’un LoRA classique ; une légère perte de qualité est possible.
Usages métiers
- Fine-tuning à petit budget
Métiers associés
- Ingénieur ML
Compétences mobilisées
- PEFT
- bitsandbytes
Notions liées
- s’appuie surLoRA — Low-Rank Adaptationadaptation à rang faible
- utiliseQuantizationquantification numérique
- fait partie deFine-tuningajustement fin
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le