Low-Rank Adaptation (LoRA).
En françaisadaptation à rang faibleAussi : adaptation paramétriquement efficace
Méthode d’adaptation qui apprend de petites matrices de mise à jour au lieu de modifier tous les paramètres.
Valeurs clés
W′ = W + B·A avec un rang r ≪ d (souvent 8 à 64) · facteur d’échelle alpha / r
Explication
LoRA approxime une mise à jour de poids par le produit de matrices de rang réduit. Cela réduit le nombre de paramètres entraînables et facilite le stockage de plusieurs adaptations.
Exemple
On conserve un modèle de base et un petit adaptateur pour un domaine juridique.
Limites
Le gain dépend de l’architecture, du rang, des données et du matériel ; LoRA n’élimine ni le coût ni le besoin de validation.
Usages métiers
- Adaptations spécialisées à moindre coût
Métiers associés
- Ingénieur ML
- Chercheur appliqué
Compétences mobilisées
- Fine-tuning
- Gestion de poids
Notions liées
- fait partie deFine-tuningajustement fin
- s’appuie surPretrainingpré-entraînement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le