DÉCOUVRIR LE COURS / 01
Construire pour comprendre.
Bienvenue dans ce laboratoire consacré aux mécanismes qui font fonctionner un modèle de langage.
Notre objectif
On va construire progressivement un petit Transformer de type GPT, puis l’entraîner depuis zéro. Notre objectif est de comprendre ses mécanismes pour mieux connaître les termes associés à l’IA, savoir à quoi ils correspondent et à quel moment ils interviennent. C’est important d’être à l’aise avec les concepts fondamentaux afin de pouvoir les appliquer dans des situations réelles, sans construire sur des hypothèses non vérifiées.
Opération zéro euro
Nous ne cherchons pas ici à créer un agent IA révolutionnaire pour étouffer les géants du secteur ni pour devenir les prochains Sam Altman, mais à comprendre les mécanismes sous-jacents à l’IA générative, sans avoir le moindre euro à dépenser. Pour démarrer, un ordinateur sous Windows ou macOS, une connexion à Internet pour installer les outils et votre engagement suffisent. Un GPU dédié n’est pas nécessaire : nous prévoyons aussi une exécution sur processeur. Pour le « Projet MiniLab », nous visons un petit modèle : 8 Go de mémoire vive constituent un point de départ indicatif bien que 16 Go offrent davantage de confort. Sur un Mac Apple Silicon, le GPU pourra être utilisé si PyTorch et les opérations le permettent. L’entraînement sur processeur sera plus lent. Ces indications restent à confirmer lorsque le modèle et son entraînement seront implémentés et testés sur différentes machines. C’est le prix à payer pour ne pas avoir à payer.
À qui s’adresse ce cours ?
Pas besoin d’avoir une expertise en IA pour commencer : la curiosité et l’envie d’apprendre sont les meilleurs points de départ. Ce cours s’adresse à toutes les personnes curieuses de comprendre en détail le fonctionnement d’une IA. Le parcours « Le LLM » est conçu pour vous guider dans la découverte des notions, même si vous débutez en programmation. Le « Projet MiniLab », consacré à la construction du modèle, sera plus facile à suivre avec quelques bases en programmation : savoir lire du code, utiliser un terminal et comprendre les fonctions. Si vous débutez complètement, vous pouvez avancer à votre rythme et prendre le temps d’acquérir ces bases en parallèle. Il n’y a pas d’âge minimum imposé : l’important est d’être à l’aise avec la lecture et les concepts abordés. Un jeune débutant peut aussi avancer avec l’aide d’une personne plus expérimentée. Je prévois un accès Discord pour ceux qui souhaitent échanger ou demander de l’aide. Si vous souhaitez aller plus loin dans les notions de programmation, j’ajouterai des liens vers les documentations officielles et parfois vers des cours qui vous aideront à approfondir les notions de programmation nécessaires.
VÉRIFIER SES CONNAISSANCES
Valider cette étape
Répondez aux trois questions pour débloquer la suite. Vous pouvez réessayer autant de fois que nécessaire.
Chargement de la progression…
Mise en ligne le