Decoder-only Architecture.
En françaisarchitecture décodeur seulAussi : modèle causal · GPT-like · causal language model
Forme de Transformer qui ne garde que la pile décodeur avec attention causale, utilisée par la plupart des LLM génératifs.
Valeurs clés
exemples : GPT, Llama, Mistral · BERT = encodeur seul · T5 = encodeur-décodeur
Explication
Le Transformer original avait un encodeur et un décodeur pour la traduction. Les modèles génératifs ont gardé uniquement le décodeur : une seule pile de blocs qui lit le contexte et prédit le token suivant.
Exemple
Un modèle GPT reçoit le prompt et la conversation en une seule séquence, puis la prolonge.
Limites
Les modèles encodeurs restent souvent plus efficaces pour la classification ou les embeddings.
Usages métiers
- Génération de texte
- Assistants
Métiers associés
- Chercheur ML
- Ingénieur IA
Compétences mobilisées
- Architecture Transformer
Notions liées
- s’appuie surTransformerTransformer
- utiliseCausal Maskmasque causal
- utiliseNext-Token Predictionprédiction du token suivant
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le