Encoder-only / Encoder-decoder.
En françaisencodeur seul / encodeur-décodeurAussi : seq2seq · bidirectional encoderExemples : BERT (encodeur seul) · T5 (encodeur-décodeur)
Les deux autres familles de Transformers, à côté des modèles décodeurs comme GPT.
Explication
Un encodeur lit tout le texte d’un coup, dans les deux sens, sans masque causal : il sert à comprendre, classer ou produire des embeddings, pas à écrire. Un encodeur-décodeur combine les deux : l’encodeur lit l’entrée, le décodeur écrit la sortie en la consultant, ce qui convient à la traduction.
Exemple
Un modèle de type BERT classe un avis client en « positif » ou « négatif » ; il ne peut pas rédiger de réponse.
Limites
Presque tous les LLM génératifs actuels sont des décodeurs seuls ; les encodeurs restent très utilisés pour les embeddings et le reranking.
Notions liées
Chaque ligne se lit comme une phrase : « Encoder-only / Encoder-decoder est un type de Transformer ».
- est un type deTransformerTransformer
- alternative àDecoder-only Architecturearchitecture décodeur seul
- voir aussiText Embeddingembedding de texte
- voir aussiBi-encoder / Cross-encoderbi-encodeur / cross-encodeur
- voir aussiCausal Maskmasque causal
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le