Weight Tying.
En françaispartage des poidsAussi : tied embeddings · poids liés
Technique où la tête de langage réutilise la table d’embeddings au lieu d’avoir sa propre matrice.
Valeurs clés
logit(token) = h · E[token] · économie : vocab_size × d_model paramètres (38,6 millions pour GPT-2 small)
Explication
L’entrée du modèle transforme un identifiant en vecteur ; la sortie fait l’inverse, d’un vecteur vers un score par token. Le partage des poids utilise la même matrice dans les deux sens : le logit d’un token est le produit scalaire entre le vecteur final et l’embedding de ce token.
Exemple
Dans le projet MiniLab, la tête de langage compte 0 paramètre : elle lit la table d’embeddings de 1 024 × 128 nombres.
Limites
Tous les modèles ne le font pas : c’est un choix d’architecture, qui lie la représentation d’entrée et celle de sortie.
Notions liées
Chaque ligne se lit comme une phrase : « Weight Tying utilise Token Embedding ».
- utiliseToken Embeddingembedding de token
- voir aussiLogitslogits
- voir aussiParametersparamètres
- voir aussiVocabularyvocabulaire
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le