Transformer.
En françaisTransformerAussi : architecture Transformer · bloc Transformer
Architecture de réseau de neurones fondée sur l’attention, qui traite tous les tokens d’une séquence en parallèle.
Valeurs clés
GPT-2 small : 12 blocs, 12 têtes, d_model = 768 · Transformer original : 6 + 6 blocs, d_model = 512
Explication
Un Transformer empile des blocs identiques. Chaque bloc combine une couche d’attention, qui mélange l’information entre tokens, et un réseau feed-forward, qui transforme chaque token séparément, avec connexions résiduelles et normalisations.
Exemple
Les modèles de la famille GPT empilent des dizaines de blocs Transformer de type décodeur.
Limites
Le coût de l’attention standard croît avec le carré de la longueur du contexte ; l’architecture seule ne dit rien de la qualité des données.
Usages métiers
- Modèles de langage
- Traduction
- Vision et audio
Métiers associés
- Chercheur ML
- Ingénieur IA
Compétences mobilisées
- Algèbre linéaire
- PyTorch
Notions liées
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le