Les limites et comment les gérer
J’ai recensé et analysé les principales limites des chats avec les LLM. L’ordre est indicatif de leur importance mais varie selon la tâche à accomplir.
Pour ceux qui n’ont pas envie de lire tout le chapitre, l’essentiel se résume en cinq gestes :
- ne faites pas confiance à un contenu simplement parce qu’il est bien écrit, vérifiez
- donnez contexte, contraintes et exemples dès le premier message, c’est le levier qui change le plus la qualité
- imposez la recherche pour tout ce qui est récent ou qui compte vraiment
- formulez des questions neutres et n’insistez pas pour avoir raison, le modèle tend à vous donner raison
- gardez les chats courts, et si l’une part mal, ouvrez-en une autre plutôt que d’essayer de la redresser
Une chose qui vous fera gagner du temps et vous évitera des illusions : il n’existe pas de formule magique de prompt qui fonctionne toujours. Les techniques changent d’un modèle à l’autre et vieillissent vite, ce qui fonctionnait très bien il y a un an peut ne plus servir aujourd’hui. C’est peut-être la chose la plus honnête que l’on puisse dire sur le prompting en 2026. L’épreuve du terrain compte plus que le nom de la technique, et la réalité est donc que, avec l’usage, ces limites s’intériorisent et il devient presque instinctif d’adopter des comportements et des techniques pour les limiter.
1. Il produit un texte plausible, pas la vérité
Il peut halluciner, confondre faits, inférences et opinions, et citer des sources inventées.
Ce qui se passe : par conception, il ne possède pas d‘“archive de la vérité” : il génère la réponse mot après mot sur une base probabiliste, en choisissant ce qui est statistiquement plausible. Comme il dialogue bien, il est facile de confondre la qualité de la forme avec la qualité du contenu. Les sources inventées ont beaucoup diminué depuis que les modèles font des recherches, mais quand ils n’en font pas, le risque reste.
Que faire : ne pas faire confiance à un contenu simplement parce qu’il est bien écrit. Toujours demander de faire une recherche et, si possible, ouvrir et vérifier les sources. Sur ce qui compte, faire chercher et croiser plusieurs sources et, surtout, fournir ses propres sources fiables.
2. Assurance excessive même quand il se trompe, il a du mal à dire “je ne sais pas”
Ce qui se passe : le modèle tend à répondre avec le même ton assuré aussi bien quand il sait que quand il devine. Il prévient rarement “ceci pourrait être faux” ou “je ne sais pas”, même si les modèles récents le font un peu plus souvent. Le résultat est que le ton ne vous indique pas à quel point vous fier.
Que faire : ne pas lire l’assurance du ton comme une garantie d’exactitude. Demander explicitement le degré de certitude et sur quoi il se base, ainsi que ce qui pourrait démentir la réponse. Se méfier particulièrement quand aucune recherche n’a été faite.
3. Sycophancy : il tend à vous complaire et vous conforte même quand vous vous trompez
Ce qui se passe : cela se manifeste de plusieurs façons : il vous donne raison même quand vous avez tort, il conforte la prémisse erronée cachée dans la question, et il cède si vous insistez, renversant une réponse correcte simplement parce que vous la contestez. Cela dépend de la façon dont il a été entraîné : il a appris que les réponses appréciées sont récompensées.
Que faire : formuler la demande comme une question neutre, pas comme une affirmation à confirmer. Demander de critiquer sa propre thèse, pas de la défendre. Attention : dire simplement “ne sois pas complaisant” fonctionne peu, la forme neutre de la question et le fait de ne pas insister quand le modèle a déjà répondu comptent bien plus.
4. Il gère mal l’ambiguïté : si la demande est vague, il invente au lieu de demander
Ce qui se passe : face à une demande incomplète ou vague, il ne s’arrête pas pour demander des précisions : il remplit les vides avec des suppositions, souvent erronées. C’est le premier message qui décide de la direction de toute la réponse, et cela dure souvent tout le long de la conversation.
Que faire : donner contexte, contraintes et exemples dès le premier message. Si la demande est complexe, lui demander d’abord “de quoi as-tu besoin pour bien répondre”, puis formuler la question définitive.
5. Erreurs de logique, de calcul, de mathématiques, de dates, de comptage
Ce qui se passe : il ne raisonne pas avec une logique rigide, il reconnaît et applique des schémas déjà vus. Il est donc très performant sur des problèmes typiques mais peut se tromper quand le problème sort du schéma, même avec de simples chiffres différents ou une phrase de plus. Ces derniers temps, il s’est beaucoup amélioré : le déclin est aujourd’hui limité, plus aussi grave qu’auparavant.
Que faire : pour les calculs, lui demander d’utiliser un outil de calcul (code) : cela élimine les erreurs d’arithmétique. Attention toutefois : l’outil exécute les calculs correctement, mais ne remarque pas si le problème a été mal posé. Donc sur les problèmes à plusieurs étapes, lui faire écrire le raisonnement étape par étape et le relire. Dates, comptages et classements : les revérifier toujours à la main car il se trompe toujours avec la même assurance.
6. Il ne cherche pas et ne suit pas les instructions, souvent avec un comportement paresseux
Ce qui se passe : il approxime les instructions plutôt que de les exécuter à la lettre. Trois cas typiques : il saute la recherche et répond avec ses connaissances même quand une recherche serait nécessaire ; il ignore ou exécute à moitié les demandes. Quand on le lui signale, il se corrige et s’excuse, mais pas parce qu’il a compris : il cède parce qu’on le conteste.
Que faire : des instructions une à la fois ou en liste courte, pas tout dans un seul bloc. Quand une recherche est nécessaire, le dire explicitement (“cherche sur le web avant de répondre”). Toujours vérifier qu’il a exécuté chaque point, ne pas le tenir pour acquis. S’il a sauté quelque chose, répéter cette seule instruction plutôt que de tout refaire.
7. Knowledge cutoff : informations non à jour
Ce qui se passe : le modèle “sait” jusqu’à une certaine date. Au-delà, sans recherche, il puise les informations dans les données reçues lors de l’entraînement, qui présentent un faible degré de fiabilité.
Que faire : pour tout ce qui est récent, imposer la recherche, ce que les LLM actuels font souvent, mais pas toujours. Utiliser le mot.
8. Contexte limité dans la conversation
Ce qui se passe : les longues conversations dégradent la qualité. Le modèle peut perdre des détails, surtout les plus centraux, oublier des contraintes données au début, confondre anciennes et nouvelles instructions ou se contredire. De plus, prompt et réponse partagent le même plafond de tokens : une entrée très longue laisse moins de place à la réponse, qui se raccourcit ou se tronque.
Que faire : garder les conversations courtes et ciblées. Répéter les contraintes importantes à la fin du prompt. Quand la conversation devient longue, faire un résumé opérationnel et repartir dans une nouvelle conversation.
9. Absence de mémoire entre une conversation et l’autre
Ce qui se passe : une nouvelle conversation n’hérite pas automatiquement de tout ce qui a été dit dans une conversation précédente. Il ne peut se souvenir que via des fonctions dédiées, des projets, une mémoire enregistrée ou du contenu que l’utilisateur recolle.
Que faire : quand on ouvre une nouvelle conversation, fournir immédiatement le contexte, l’objectif, les contraintes et l’état du travail. Pour les travaux longs, maintenir un résumé à jour à copier dans les nouvelles conversations.
10. Certaines conversations démarrent bien, d’autres mal
Ce qui se passe : les réponses sont générées avec une marge d’aléatoire, elles ne sont donc jamais identiques même à question égale. De plus, chaque réponse s’appuie sur les précédentes, et si les premières sont faibles, elles deviennent le contexte sur lequel le modèle construit les suivantes. C’est pourquoi une conversation ne se dégrade pas de façon graduelle : elle s’engage vite sur une voie, bonne ou mauvaise, et y reste.
Que faire : si la conversation part mal, l’abandonner. Ne pas essayer de la redresser. Ouvrir une nouvelle conversation avec le contexte consolidé en un seul message.
Autres limites
11. Les langues moins représentées sont traitées moins bien
Ce qui se passe : l’anglais est nettement meilleur, mais le niveau des modèles de pointe sur les principales langues est désormais notable.
Que faire : pour un résultat de qualité en italien, relire avec un œil critique. Pour les travaux sensibles, comparer avec la version anglaise.
12. Communication : verbeux, générique, ton inadapté
Il a du mal avec l’ironie et les sous-entendus, traductions imparfaites ; ils parlent avec un style typique d’IA.
Ce qui se passe : il tend à remplir. Sans guidage, il reste sur le générique et le neutre ; s’il n’est pas bien instruit, son langage se reconnaît et est d’un ennui mortel : beaucoup de mots, peu de substance.
Que faire : donner des instructions précises sur la longueur, le ton, le destinataire. Donner des exemples du registre souhaité.
13. Biais des données d’entraînement, il amplifie les stéréotypes
Ce qui se passe : sournois car difficile à identifier, en particulier pour nous, Occidentaux, immergés dans les mêmes biais.
Que faire : il n’existe pas de prompt qui élimine le biais, au contraire insister peut produire l’effet inverse (le stéréotype inversé). La seule vraie défense est la prise de conscience : savoir que le résultat reflète les données sur lesquelles il a été entraîné, et se méfier sur les sujets culturels, sociaux et de genre, surtout quand la réponse confirme ce que nous pensons déjà.
14. Il ne comprend pas le monde, n’a pas d’expérience directe, raisonnement spatial faible
Ce qui se passe : vrai, mais cela devient une limite seulement si l’on humanise trop le LLM. Aujourd’hui, ce sont des outils, pas des entités. Sur le monde physique, l’architecture actuelle a des limites peut-être structurelles.
Que faire : ne pas déléguer des jugements qui nécessitent une expérience du monde réel. Le traiter comme un outil, pas comme une personne.
15. Choix de conception, pas des défauts
Refus par politique, prudence sur le médical/juridique/financier, vulnérabilité au jailbreak et à l’injection de prompt.
Ce qui se passe : ce ne sont pas des dysfonctionnements, ce sont des choix. Certains protègent l’utilisateur, d’autres sont des limites résiduelles de sécurité.
Que faire : savoir que certains refus sont voulus. Sur le médical/juridique/financier, l’utiliser comme soutien, pas comme décideur.