Decoder-only Architecture.
En françaisarchitecture décodeur seulAussi : modèle causal · GPT-like · causal language model · decoder-only · modèle décodeur
Forme de Transformer qui ne garde que la pile décodeur avec attention causale, utilisée par la plupart des LLM génératifs.
Valeurs clés
exemples : GPT, Llama, Mistral · BERT = encodeur seul · T5 = encodeur-décodeur
Explication
Le Transformer original avait un encodeur et un décodeur pour la traduction. Les modèles génératifs ont gardé uniquement le décodeur : une seule pile de blocs qui lit le contexte et prédit le token suivant.
Exemple
Un modèle GPT reçoit le prompt et la conversation en une seule séquence, puis la prolonge.
Limites
Les modèles encodeurs restent souvent plus efficaces pour la classification ou les embeddings.
Usages métiers
- Génération de texte
- Assistants
Métiers associés
- Chercheur ML
- Ingénieur IA
Compétences mobilisées
- Architecture Transformer
Notions liées
Chaque ligne se lit comme une phrase : « Decoder-only Architecture est un type de Transformer ».
- est un type deTransformerTransformer
- utiliseCausal Maskmasque causal
- alternative àEncoder-only / Encoder-decoderencodeur seul / encodeur-décodeur
- voir aussiNext-Token Predictionprédiction du token suivant
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le