Positional Encoding.
En françaisencodage positionnelAussi : position embedding · plongement de position
Information ajoutée aux embeddings pour indiquer au modèle la position de chaque token dans la séquence.
Valeurs clés
sinusoïdal : PE(pos, 2i) = sin(pos / 10000^(2i/d)) · appris : une ligne par position (GPT-2 : 1 024)
Explication
L’attention seule ne tient pas compte de l’ordre : « chien mord homme » et « homme mord chien » donneraient le même mélange. On ajoute donc un vecteur de position, fixe (sinusoïdal), appris, ou appliqué par rotation (RoPE).
Exemple
Le token « mord » reçoit un vecteur différent selon qu’il est en 2ᵉ ou en 5ᵉ position.
Limites
Un encodage appris ne se généralise pas au-delà de la longueur vue pendant l’entraînement.
Usages métiers
- Modèles séquentiels
Métiers associés
- Chercheur ML
Compétences mobilisées
- Trigonométrie
- Embeddings
Notions liées
- alternative àRoPE — Rotary Position Embeddingplongement positionnel rotatif
- amélioreEmbeddingplongement vectoriel
- fait partie deTransformerTransformer
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le