Transformer.
En françaisTransformerAussi : architecture Transformer
Architecture de réseau de neurones fondée sur l’attention, qui traite tous les tokens d’une séquence en parallèle.
Valeurs clés
GPT-2 small : 12 blocs, 12 têtes, d_model = 768 · Transformer original : 6 + 6 blocs, d_model = 512
Explication
Un Transformer empile des blocs identiques. Chaque bloc combine une couche d’attention, qui mélange l’information entre tokens, et un réseau feed-forward, qui transforme chaque token séparément, avec connexions résiduelles et normalisations.
Exemple
Les modèles de la famille GPT empilent des dizaines de blocs Transformer de type décodeur.
Limites
Le coût de l’attention standard croît avec le carré de la longueur du contexte ; l’architecture seule ne dit rien de la qualité des données.
Usages métiers
- Modèles de langage
- Traduction
- Vision et audio
Métiers associés
- Chercheur ML
- Ingénieur IA
Compétences mobilisées
- Algèbre linéaire
- PyTorch
Notions liées
Chaque ligne se lit comme une phrase : « Transformer est un type de Neural Network ».
- est un type deNeural Networkréseau neuronal
- utiliseSelf-Attentionauto-attention
- utiliseFFN — Feed-Forward Networkréseau à propagation avant
- utiliseResidual Connectionconnexion résiduelle
- utiliseLayerNorm — Layer Normalizationnormalisation de couche
- voir aussiDecoder-only Architecturearchitecture décodeur seul
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le