Du perceptron au transformer : Démystifier l'architecture des LLMs
Vendredi 10:25, Amphi A
Entre vulgarisations de haut niveau et publications académiques aux formules obscures, il est difficile de comprendre l’architecture des grands modèles de langage (LLM). Derrière les termes de “neurones”, “attention” et “intelligence” se cache en réalité une logique déterministe et des structures de données bien connues.
Explorons 60 ans de travaux sur le sujet, depuis le Perceptron de 1957 jusqu’au Transformer de 2017. Par itération, nous verrons comment ils se modélisent strictement sous la forme de graphes de calcul statiques, de pipelines d’opérations matricielles et de flux de données.
Une fois cette topologie démystifiée, nous passerons à la pratique en décortiquant le MicroGPT d’Andrej Karpathy : une implémentation complète d’un modèle GPT autorégressif tenant en 200 lignes de Python brut. Ainsi, la magie cèdera sa place à l’émerveillement de voir des propriétés aussi fascinantes émerger d’une simple mécanique mathématique.
Sébastien Bertrand
Développeur backend, Tech Lead et chercheur chez onepoint, j’aborde l’ingénierie logicielle avec une rigueur scientifique. Fort de près de 20 ans d’expérience dans l’industrie, j’aime particulièrement creuser les sujets complexes, résoudre les problèmes épineux et dompter les bugs velus.
Ingénieur en cognitique (2007) et Docteur en informatique (2024), ma thèse portait sur l’analyse statique de la maintenabilité logicielle à l’aide de graphes de code. Aujourd’hui, j’applique cette expertise de pointe à l’architecture Cloud et à l’intégration d’Intelligences Artificielles génératives en production (LLM, RAG, AWS Bedrock).
Loin du simple “delivery”, ma véritable vocation est le partage de connaissances. C’est pourquoi j’accompagne au quotidien les développeurs dans leur progression et j’enseigne l’ingénierie logicielle à l’ENSC de Bordeaux INP, avec qui je collabore étroitement sur mes sujets de recherche.