Mixture of Experts (MoE).
En françaismélange d’expertsAussi : experts clairsemés · sparse MoE
Architecture qui remplace le réseau feed-forward par plusieurs « experts » dont seuls quelques-uns sont activés pour chaque token.
Valeurs clés
Mixtral 8x7B : 8 experts, 2 actifs par token, ≈ 47 G paramètres dont ≈ 13 G actifs
Explication
Un routeur (router) choisit les k meilleurs experts pour chaque token. Le modèle a beaucoup de paramètres au total mais n’en utilise qu’une partie par token, ce qui réduit le calcul à qualité comparable.
Exemple
Un token de code et un token de poésie peuvent être envoyés à des experts différents.
Limites
Tous les experts doivent tenir en mémoire ; l’équilibrage de charge entre experts complique l’entraînement.
Usages métiers
- Modèles de grande taille à coût réduit
Métiers associés
- Chercheur ML
- Ingénieur inférence
Compétences mobilisées
- Calcul distribué
Notions liées
- alternative àFFN — Feed-Forward Networkréseau à propagation avant
- utiliseParametersparamètres
- amélioreTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le