FlashAttention.
En françaisFlashAttentionAussi : attention optimisée en mémoire
Implémentation de l’attention qui découpe le calcul en tuiles pour limiter les accès à la mémoire du GPU.
Valeurs clés
attention exacte · mémoire linéaire en n au lieu de quadratique
Explication
Au lieu d’écrire toute la matrice n × n en mémoire, FlashAttention calcule le softmax par blocs dans la mémoire rapide du GPU. Le résultat est identique, mais l’entraînement et l’inférence sont plus rapides sur de longues séquences.
Exemple
Activer FlashAttention permet d’entraîner sur des séquences plus longues avec le même GPU.
Limites
Dépend du matériel et des versions de bibliothèques ; n’accélère pas un calcul limité ailleurs.
Usages métiers
- Entraînement
- Inférence longue
Métiers associés
- Ingénieur performance ML
Compétences mobilisées
- CUDA
- Profilage GPU
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le