De la confiance aveugle à l’usage conscient
Beaucoup utilisent l’IA, mais vraiment peu la utilisent bien. J’ai essayé d’ordonner les connaissances et les astuces qu’un utilisateur doit acquérir pour passer d’un usage naïf à un usage expert : cinq niveaux de conscience croissante, de L1 à L5, plus un niveau zéro de départ. Ce sont évidemment des généralisations et des simplifications, pas de véritables catégories, et naturellement on peut être plus compétent et/ou conscient sur certains aspects et ignorer les autres. Par ailleurs, ce n’est pas vraiment le montant que tu dépenses chaque mois qui compte, mais la méthode que tu appliques et l’expérience que tu as accumulée.
L0, Aucune notion
Utilise ChatGPT peut-être même sans créer de compte personnel ; n’a pas conscience que le même modèle existe en différentes versions avec des performances différentes. Ne sait pas comment fonctionnent les LLM, ni quelles sont leurs limites, donc pose des questions sans contexte et attend la vérité, en plus formatée selon ses attentes. Deux issues typiques opposées : prend pour argent comptant la réponse du LLM et reste étonné par sa capacité dialectique, confondant forme et contenu (épistémie : je confonds éloquence et connaissance, j’accorde de l’autorité à celui qui parle bien) ; ou bien affirme que “l’IA est bête” parce qu’elle ne lui a pas fourni la réponse qu’il attendait.
L1, Le premier vrai changement
Commence à préparer le prompt en fournissant le contexte : indique à qui s’adresse la réponse, fournit éventuellement des exemples si disponibles, précise bien ce qu’il veut savoir. La qualité s’élève nettement : c’est le premier pas vers un usage conscient. S’énerve parce que, juste au moment où il commence à y prendre goût, le plan gratuit épuise ses crédits…
L2, Abonnement et modèles de pointe
Fait le grand investissement, l’abonnement de base, généralement à ChatGPT ou à Claude.
- A conscience qu’il existe différentes versions du même modèle, notamment parce que les premières fois, quand il n’y prête pas attention, il épuise rapidement son crédit (plus une version de modèle est intelligente, plus elle consomme de tokens et donc d’argent).
- Si la question est difficile, utilise le modèle de pointe, celui “thinking” ou “adaptive”, c’est-à-dire le modèle qui réfléchit avant de donner la réponse. Parfois il fait aussi des recherches de manière autonome ou demande au modèle de les faire. La qualité augmente encore, et beaucoup.
- Il a généralement appris et intériorisé la règle sacrée de l’usage de l’IA : “le LLM est un outil, ne lui fais pas confiance et vérifie”, mais s’il ne l’a pas encore apprise, le risque est alors peut-être encore plus élevé qu’au niveau 0.
L3, Aguerri
C’est ici le véritable saut qualitatif.
- Sait doser l’effort selon l’enjeu : question rapide pour les choses simples, modèle thinking et recherches pour les choses importantes.
- Crée de petites formules pour orienter le modèle à fournir des réponses plus grounded, c’est-à-dire plus ancrées dans des sources vérifiables et moins dans la mémoire du modèle, afin de réduire les hallucinations, du type “Réponse courte, expliquée simplement, directe, appuyée par des vérifications des sources, zéro sycophancy (terme anglais proche de ‘complaisance’ mais plus spécifique : la tendance du modèle à nous donner raison, à nous flatter et à ne pas nous contredire), ne commence pas à agir avant qu’on ait bien défini ensemble ce qu’il faut faire”, c’est-à-dire une série d’instructions qui mettent des limites partielles à certains comportements improductifs, typiques des LLM.
- S’il a besoin de plusieurs sources, il sait qu’il existe le mode Deep Research, disponible dans tous les principaux LLM de pointe et qui introduit une grande avancée qualitative parce que les recherches s’appuient sur une grande quantité de documentation tirée d’internet, même si elles sont coûteuses en temps et en tokens consommés.
- Si le problème est complexe, il comprend qu’il faut le décomposer et l’analyser en parties plus petites, généralement dans différents prompts, et il se rend aussi compte des limites des chats : il a appris à échapper à la tentation de les rendre interminables.
- Travaille encore mieux le prompt et le contexte en demandant au modèle lui-même de lui poser toutes les questions nécessaires, afin d’éviter d’oublier des aspects importants pour la qualité de la réponse, ou d’autres qu’il considère évidents et qui ne le sont pas du tout.
- Puisqu’à ce stade le LLM aura fait des recherches, il lit directement les sources fournies sous forme de liens et en vérifie certaines, au moins les plus importantes, en établissant une hiérarchie basée sur l’origine (un article important et reconnu aura plus de poids qu’un blog, par exemple).
L4, Maître
Niveau maître, pour les sujets fondamentaux où la fiabilité et la profondeur maximales sont requises.
- Il a généralement plusieurs abonnements à des LLM de pointe, afin de pouvoir choisir celui qu’il estime être le meilleur pour une tâche donnée ou une phase donnée de la recherche.
- Construit des Projets dédiés au sujet, parce que presque toujours le problème individuel s’inscrit dans un domaine d’intérêt plus large. Le Projet offre une mémoire spécifique et un dépôt de fichiers qu’il est possible de joindre, accessibles depuis tous les prompts à l’intérieur ; il intègre ainsi dans le projet les documents qu’il a rassemblés de manière autonome, utiles pour aborder le problème. Il exploite la mémoire spécifique du projet : ainsi il réduit l’usage de tokens pour chaque nouveau chat à l’intérieur, parce que le LLM part en lisant cette mémoire spécifique.
- Vérifie s’il existe des skills spécifiques à charger dans le LLM pour rendre le modèle plus spécialisé dans une tâche donnée.
- Une fois obtenue la réponse ou les réponses, fait d’éventuelles triangulations avec les autres LLM de pointe, qui confirment généralement le cadre général, mais font souvent émerger des aspects négligés ou contredisent des affirmations secondaires.
L5, Professionnel
Il existe de très nombreuses techniques sophistiquées pour améliorer la qualité de réponse des LLM, parmi lesquelles les systèmes RAG, GraphRAG, bases de données, outils multi-agents, fine tuning des modèles, etc., mais elles sortent du champ d’intérêt de ce cours. Le domaine est vaste et en évolution constante.
Et toi, à quel niveau es-tu ? Dans les prochains articles, il y aura des approfondissements sur ce qu’il est important de connaître et comment monter de niveau.