Positional Encoding.
En françaisencodage positionnelAussi : position embedding · plongement de positionExemples : encodage sinusoïdal · embeddings de position appris (learned positional embeddings) · RoPE
Information ajoutée aux embeddings pour indiquer au modèle la position de chaque token dans la séquence.
Valeurs clés
sinusoïdal : PE(pos, 2i) = sin(pos / 10000^(2i/d)) · appris : une ligne par position (GPT-2 : 1 024)
Explication
L’attention seule ne tient pas compte de l’ordre : « chien mord homme » et « homme mord chien » donneraient le même mélange. On ajoute donc un vecteur de position, fixe (sinusoïdal), appris, ou appliqué par rotation (RoPE).
Exemple
Le token « mord » reçoit un vecteur différent selon qu’il est en 2ᵉ ou en 5ᵉ position.
Limites
Un encodage appris ne se généralise pas au-delà de la longueur vue pendant l’entraînement.
Usages métiers
- Modèles séquentiels
Métiers associés
- Chercheur ML
Compétences mobilisées
- Trigonométrie
- Embeddings
Notions liées
Chaque ligne se lit comme une phrase : « Positional Encoding fait partie de Transformer ».
- fait partie deTransformerTransformer
- alternative àRoPE — Rotary Position Embeddingplongement positionnel rotatif
- voir aussiToken Embeddingembedding de token
- voir aussiContext Windowfenêtre de contexte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le