Rotary Position Embedding (RoPE).
En françaisplongement positionnel rotatifAussi : rotary embeddings · encodage rotatif
Encodage positionnel qui fait tourner les vecteurs requête et clé d’un angle proportionnel à la position du token.
Valeurs clés
base θ = 10 000 dans l’article ; augmentée pour étendre le contexte
Explication
Après rotation, le produit scalaire entre une requête et une clé ne dépend que de leur distance relative. RoPE est utilisé par de nombreux modèles ouverts récents et se prête à des techniques d’extension du contexte.
Exemple
Deux tokens distants de 3 positions obtiennent la même relation, qu’ils soient au début ou à la fin du texte.
Limites
Étendre le contexte au-delà de l’entraînement demande des ajustements (mise à l’échelle de la base) et une évaluation.
Usages métiers
- Modèles à long contexte
Métiers associés
- Chercheur ML
Compétences mobilisées
- Nombres complexes
- Attention
Notions liées
- alternative àPositional Encodingencodage positionnel
- amélioreSelf-Attentionauto-attention
- amélioreContext Windowfenêtre de contexte
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le