Rotary Position Embedding (RoPE).
En françaisplongement positionnel rotatifAussi : rotary embeddings · encodage rotatif
Encodage positionnel qui fait tourner les vecteurs requête et clé d’un angle proportionnel à la position du token.
Valeurs clés
base θ = 10 000 dans l’article ; augmentée pour étendre le contexte
Explication
Après rotation, le produit scalaire entre une requête et une clé ne dépend que de leur distance relative. RoPE est utilisé par de nombreux modèles ouverts récents et se prête à des techniques d’extension du contexte.
Exemple
Deux tokens distants de 3 positions obtiennent la même relation, qu’ils soient au début ou à la fin du texte.
Limites
Étendre le contexte au-delà de l’entraînement demande des ajustements (mise à l’échelle de la base) et une évaluation.
Usages métiers
- Modèles à long contexte
Métiers associés
- Chercheur ML
Compétences mobilisées
- Nombres complexes
- Attention
Notions liées
Chaque ligne se lit comme une phrase : « Rotary Position Embedding est un type de Positional Encoding ».
- est un type dePositional Encodingencodage positionnel
- voir aussiSelf-Attentionauto-attention
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le