DÉCOUVRIR LE COURS / 02
Le chemin devant nous.
Pas d’inquiétude si certains mots vous semblent abstraits pour l’instant : nous allons tout décortiquer ensemble, à votre rythme.
Nous commencerons par les bases indispensables : comment une machine lit et représente le texte. Puis nous soulèverons le capot pour comprendre le cœur des réseaux modernes : la fameuse architecture « Transformer ».
Une fois ces mécanismes assimilés, nous verrons comment un modèle apprend ses poids et devient un assistant, puis nous suivrons le trajet complet d’une vraie requête, du champ de saisie jusqu’à l’écran.
Chaque étape s’appuie sur la précédente. Nous avancerons ensemble, en douceur, une notion à la fois.
Voici globalement les notions que nous allons explorer sur le parcours « Le LLM » :
Fondamentaux (leçons 01 à 05)
Tokenisation, identifiants numériques, embeddings, prédiction du token suivant et encodage positionnel.
Le Transformer (leçons 06 à 09)
Matrice d’attention, bloc Transformer, logits et probabilités, puis sampling et décodage.
L’apprentissage et l’alignement (leçons 10 à 12)
Loss, gradient et rétropropagation, surapprentissage et passage à l’échelle, puis le passage du modèle de base à l’assistant.
Le voyage d’une requête (leçons 13 à 16)
Tokenisation en sous-mots (BPE), du champ de saisie au modèle, cache KV et vitesse, puis du modèle à l’écran. RAG, outils et agents sont des couches applicatives autour du modèle : ils sont présentés en complément.
VÉRIFIER SES CONNAISSANCES
Valider cette étape
Répondez aux trois questions pour débloquer la suite. Vous pouvez réessayer autant de fois que nécessaire.
Chargement de la progression…
Mise en ligne le