Comment fonctionne un LLM
Un réseau de neurones n’est pas un objet physique et n’est pas un programme au sens classique, c’est une fonction mathématique complexe composée de millions de petites unités de calcul, les nœuds, connectées entre elles. Un nœud est une unité de calcul qui reçoit une entrée, la traite et produit une sortie. Chaque nœud fait une chose simple : il reçoit des nombres, les combine et produit un nombre en sortie, qu’il transmet à d’autres nœuds. Pris un par un, ils sont banals ; ce sont les millions de nœuds en cascade, sur de nombreuses couches, qui font émerger des comportements complexes.
Chaque connexion entre nœuds a un poids, c’est-à-dire un nombre qui indique l’importance du signal qui la traverse : poids élevé, connexion influente ; poids proche de zéro, presque ignorée. Chaque nœud a ensuite un biais, une valeur qui régule la facilité avec laquelle il “s’active”. Poids et biais ensemble sont les paramètres du modèle, qui vont de quelques dizaines de milliards pour les petits modèles pouvant tourner en local (ex : 10B de paramètres, billions = milliards) jusqu’à quelques milliers de milliards pour les modèles de pointe (GPT-4 en avait environ 1,8T ; trillion = 1000 milliards).
Entraîner le réseau signifie chercher les valeurs qui lui permettent de deviner le mot suivant le plus plausible dans un texte (techniquement le token, qui n’est pas exactement un mot), puis celui d’après, et encore celui d’après, jusqu’à composer une réponse entière. Personne ne les choisit : ils émergent d’eux-mêmes pendant les phases d’entraînement et celles qui suivent, comme effet de millions de cycles d’écriture de paramètres - génération de sortie - correction - ajustement des paramètres.
L’entraînement consiste dans la “digestion” d’énormes quantités de texte provenant d’internet, de livres et de code ; les modèles les plus récents ajoutent aussi des images. Ils ne stockent pas des faits vérifiés, mais les structures statistiques du langage, les régularités selon lesquelles les mots s’enchaînent. Conséquence directe : tout ce qui se trouve dans les données, erreurs et préjugés compris, entre dans le modèle. Pour l’entraînement, les grands modèles nécessitent des milliers de processeurs spécialisés fonctionnant pendant des mois.
Une fois cette phase terminée, le réseau sait prédire du texte et répond aussi à des demandes dangereuses. Il doit donc être aligné avec des valeurs éthiques de sécurité, d’absence de préjugés, d’innocuité des réponses, et similaires. On lui apprend quelles réponses sont préférables en récompensant celles qui respectent une série de principes établis, phase réalisée avec un mélange d’évaluations humaines et d’autres modèles d’IA utilisés comme juges.
Une fois la phase d’entraînement terminée, aujourd’hui les modèles sont “fermés”, c’est-à-dire qu’ils n’ont pas la possibilité d’apprendre et de modifier leurs poids et paramètres et, par conséquent, ils ne savent rien de ce qui s’est passé après la date de fin d’entraînement ; ils ne sont donc pas capables de s’auto-actualiser et si vous voulez connaître la nouvelle d’hier, vous devez leur demander de faire des recherches sur internet, même si les modèles modernes effectuent aussi cette opération de recherche de manière autonome.
Un concept important et plus pratique est la fenêtre de contexte : la quantité de texte que le modèle garde sous les yeux dans une seule conversation, mesurée en tokens. C’est un budget unique et partagé entre votre question, les documents que vous collez et la réponse elle-même : remplissez-le avec une entrée longue et la réponse se raccourcit. C’est aussi la raison pour laquelle les longues conversations perdent en qualité, quand le discours dépasse la fenêtre les premiers détails s’estompent. Les fenêtres ont beaucoup augmenté, passant de quelques milliers de tokens à des millions dans les modèles récents, mais elles restent une limite.
Maintenant que nous avons une idée de comment ils sont construits, allons comprendre les avantages que cette technologie peut nous apporter.
En quoi ils sont doués
Nous avons vu que les LLM ne sont pas des bases de données, ne sont pas des moteurs de recherche et ne sont pas des “intelligences” au sens humain du terme. Cependant, ce sont des outils extrêmement puissants dans un domaine précis : travailler sur le langage et transformer l’information.
Travailler sur le langage
Réécrire, résumer, traduire, changer de registre, améliorer la forme, adapter un texte à un public différent. Ici, ils sont très forts parce qu’ils travailleront sur un texte que nous leur avons fourni et n’ont donc pas besoin de récupérer des informations dans leur mémoire. Plus vous leur donnez de texte, de contexte et de contraintes claires, plus ils deviennent fiables. Une fois ce point compris, vous avez compris les LLM. Donc, sur des questions importantes, récupérez les sources que vous jugez fiables, donnez-les-lui à digérer et il vous aidera à les comprendre, à les analyser, à trouver des schémas récurrents, etc.
Évidemment, ce sera l’une des choses que nous aborderons dans ce cours. En toute honnêteté, aujourd’hui tous les LLM utilisent des fonctions de recherche pour trouver des informations en dehors de leur mémoire et ne “balancent pas la première chose qui leur vient à l’esprit” comme cela se passait autrefois ; donc, s’ils sont bien utilisés, il est possible d’obtenir des informations avec un degré raisonnable de fiabilité même si nous ne leur fournissons pas nous-mêmes les sources, mais ce n’est pas encore un processus automatique, donc la règle d’or est NE VOUS FIEZ PAS.
Reconnaître et poursuivre les schémas
Un LLM, grâce à l’entraînement, a appris des régularités linguistiques, structurelles, sémantiques. C’est aussi vrai pour les autres IA : les générateurs d’images ont appris des schémas à partir de milliards d’images, ceux de musique en écoutant de la musique, ceux de voix en écoutant des conversations. Si la tâche consiste à reconnaître des motifs et que les données sont propres, battre une IA est presque impossible. Un LLM sait donc comment est faite une phrase, comment se poursuit un certain type de texte, quelle forme a un tableau, une liste, un e-mail, un procès-verbal, un contrat, un post, une explication technique. Vous lui donnez le début de quelque chose et il le continue dans le même style. Vous lui donnez des notes désordonnées et il les transforme en un plan. Vous lui donnez trois exemples et il produit le quatrième cohérent avec les autres. Vous lui donnez du texte libre et il en extrait des données ordonnées. Trois e-mails deviennent un tableau avec noms, dates et montants. Cent avis se répartissent en aspects positifs, négatifs et demandes récurrentes. Un procès-verbal confus devient une liste de décisions prises, de problèmes ouverts et de prochaines actions. Il n’a pas une compréhension “humaine” (sujet qui mérite un développement à part), mais il reconnaît la forme, le contexte et les relations entre concepts : il sait transformer le chaotique en matériau structuré.
Classer et évaluer
Les LLM sont également doués pour classer des contenus selon des critères donnés. Vous pouvez demander : ces e-mails sont-ils urgents ou non urgents ? Ces tickets clients parlent-ils de problèmes techniques, administratifs ou commerciaux ? Ces CV respectent-ils les exigences minimales ? Ces réponses sont-elles favorables, contraires ou neutres ? Ce qui compte, c’est de donner une grille claire. Si le critère est vague, la réponse sera vague aussi. Si le critère est précis, le modèle peut devenir un excellent assistant de première sélection. Il ne remplace pas le jugement final, mais réduit beaucoup le travail ingrat.
Générer des variantes
Autre point très fort : produire des alternatives. Titres différents, exemples différents, versions plus simples, plus techniques, plus dures, plus élégantes, plus commerciales, plus pédagogiques. Une personne se bloque souvent sur la première formulation. Un LLM peut en produire dix en quelques secondes. Elles ne sont pas forcément toutes bonnes. Au contraire, souvent beaucoup ne le sont pas. Mais elles servent à explorer l’espace des possibilités. Provocation : n’est-ce pas là une forme de créativité ?
Du langage humain au langage technique
C’est l’une des révolutions les plus pratiques. Vous écrivez en italien courant : “trouve-moi les lignes où l’on parle de cette chose”, “fais-moi un tableau avec ces données”, “crée-moi une formule”, “prépare-moi une requête”, “transforme-moi ces notes en une procédure”. Le modèle traduit la demande dans un langage technique : code, formule, requête, prompt, structure de données, commande, schéma, document. Cela n’élimine pas la compétence technique, mais abaisse la barrière d’entrée. Vous n’avez pas toujours besoin de connaître déjà le langage de la machine. Vous devez savoir bien expliquer ce que vous voulez obtenir.
Code
Le code est un cas particulier des points précédents. C’est du langage, ou plutôt ce sont de nombreux langages, mais beaucoup plus réguliers et structurés que le langage humain : ils ont une syntaxe rigide, des structures récurrentes et énormément d’exemples disponibles. C’est pour cela que les LLM sont devenus très forts en programmation courante : écrire des fonctions, corriger des erreurs, expliquer du code, générer des scripts, transformer une idée en une première ébauche fonctionnelle. Historiquement, ils ne brillaient pas sur des problèmes rares, complexes ou très spécifiques, mais les performances des modèles les plus récents sont impressionnantes. Une règle demeure : le code doit être testé. Un LLM peut écrire du code apparemment parfait et pourtant faux. Puisque nous avons vu que les LLM sont doués pour transformer le langage humain en code, cela a donné naissance à ce qu’on a appelé le “vibe coding”, c’est-à-dire qu’il est possible de créer des applications et des logiciels simplement en les décrivant avec des mots, et avec les agents cette capacité s’est encore renforcée.
Expliquer et faire office de tuteur
Expliquer est l’un des usages les plus naturels des LLM et c’est une conséquence des points précédents. À mon avis personnel, dès aujourd’hui, s’ils étaient utilisés comme outils pédagogiques et non comme substituts pour faire les devoirs, ils pourraient transformer radicalement l’apprentissage, à tout niveau, en le rendant plus amusant et interactif, en diminuant drastiquement le temps de préparation du matériel pédagogique et en l’adaptant facilement aux besoins spécifiques de l’élève, en mettant à disposition un enseignant infatigable qui peut nous interroger et nous guider pour surmonter nos lacunes. C’est l’un des meilleurs usages, surtout pour apprendre. Mais avec une limite fondamentale : c’est vous qui devez lui donner le matériel, sinon il pourrait expliquer avec la même assurance ce qui est erroné.
Utiliser des outils
C’est là l’un des sauts les plus importants et les plus impactants pour notre société. Un LLM seul répond avec ce qu’il a appris et le contexte que vous lui donnez. Mais connecté à des outils, il peut faire bien plus : chercher sur le web, lire des documents, interroger des bases de données, exécuter du code, utiliser une calculatrice, appeler d’autres logiciels pour demander et donner des informations ou des commandes, modifier des fichiers, remplir des tableaux, piloter des logiciels. Cela change la nature du travail. Où tout cela nous mènera-t-il ? On ne le sait pas.
C’est ici que la boucle se ferme. Aujourd’hui, les réseaux de neurones des LLM et des IA ne contiennent pas une archive de réponses vraies à consulter : ils contiennent ces milliards de paramètres qui constituent une carte statistique du comportement du langage, des images ou d’autres types d’informations ; ce sont des outils extrêmement puissants qu’il faut savoir utiliser.