Token Embedding.
En françaisembedding de tokenAussi : embedding · plongement lexical · vecteur de représentation · table d’embeddings
Vecteur appris qui représente un token à l’entrée d’un modèle de langage ; tous ces vecteurs forment la table d’embeddings.
Valeurs clés
table de vocab_size × d_model nombres · GPT-2 small : 50 257 × 768
Explication
La table d’embeddings est la première couche du modèle : une ligne par token du vocabulaire, d_model nombres par ligne. L’identifiant d’un token sert d’adresse pour y lire son vecteur. Ces valeurs sont apprises pendant l’entraînement : des tokens aux usages proches finissent avec des vecteurs voisins. À ne pas confondre avec un embedding de texte, vecteur unique produit pour une phrase entière par un modèle spécialisé.
Exemple
Dans GPT-2 small, l’identifiant d’un token désigne une ligne de 768 nombres parmi les 50 257 de la table.
Limites
L’embedding d’un token est le même quel que soit le contexte : c’est l’attention qui adapte ensuite le vecteur à la phrase. Il ne contient pas non plus la position du token.
Usages métiers
- Recherche sémantique
- Déduplication
- Regroupement de documents
Métiers associés
- Ingénieur recherche
- Data scientist
Compétences mobilisées
- Recherche vectorielle
- Évaluation de similarité
Notions liées
Chaque ligne se lit comme une phrase : « Token Embedding fait partie de Transformer ».
- fait partie deTransformerTransformer
- utiliseVocabularyvocabulaire
- voir aussid_model — Hidden Sizedimension du modèle
- voir aussiWeight Tyingpartage des poids
- voir aussiText Embeddingembedding de texte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le