Les hallucinations d’un chatbot ne viennent pas d’un défaut mystérieux de l’intelligence artificielle. Elles viennent de la façon dont on lui demande de répondre. Changez la méthode, et le chatbot apprend à dire « je ne sais pas ».
Ce qu’est vraiment une hallucination
On parle d’hallucination quand un chatbot affirme quelque chose de faux avec assurance : un tarif qui n’existe pas, un horaire inventé, une prestation que vous n’avez jamais proposée. Les hallucinations d’un chatbot sont d’autant plus dangereuses qu’elles sont bien écrites. Rien dans le ton ne les distingue d’une bonne réponse.
Pour comprendre d’où elles viennent, il faut se rappeler comment fonctionne un modèle de langage. Il ne consulte pas une base de faits. Il produit, mot après mot, la suite la plus plausible d’un texte. La plupart du temps, le plausible et le vrai coïncident. Quand le modèle ne sait pas, il ne s’arrête pas : il continue à produire du plausible.
Pourquoi un chatbot généraliste invente sur votre entreprise
Demandez à un assistant généraliste les horaires d’un petit cabinet ou le prix d’un artisan local. Il n’a presque rien appris sur eux. Il va pourtant répondre, parce qu’on l’a entraîné à répondre. Le résultat ressemble à une information, sans en être une.
Sur un site professionnel, c’est le pire scénario. Le visiteur prend la réponse pour un engagement de votre part. Le jour où il appelle pour réserver au prix annoncé, c’est vous qui devez démentir.
Les quatre garde-fous qui empêchent d’inventer
Répondre à partir de sources
Le chatbot cherche d’abord le passage de vos pages qui correspond à la question, puis rédige à partir de ce passage seulement.
Un seuil de pertinence
Si aucun passage n’est assez proche de la question, il ne tente rien : il le dit et renvoie vers vous.
Un périmètre fermé
Il ne va pas chercher sur le web et ne puise pas dans sa culture générale pour combler un trou.
Des règles non désactivables
Pas de promesse de délai, de remise ou d’engagement que vos pages ne contiennent pas.
La recherche avant la rédaction
La technique qui fait la différence porte un nom un peu barbare : la génération augmentée par la recherche, ou RAG. Le principe est simple. Avant d’écrire quoi que ce soit, le système découpe votre site en passages, retrouve ceux qui parlent de la question posée, et ne transmet au modèle que ces passages, avec une consigne : réponds à partir de ceci, et de rien d’autre.
Le modèle ne sert plus à savoir. Il sert à reformuler clairement ce que vos pages disent déjà. C’est un changement de rôle complet, et c’est lui qui fait chuter les inventions.
Le refus est une fonctionnalité
Le RAG seul ne suffit pas. Si la question porte sur un sujet que votre site n’aborde pas, la recherche remontera quand même les passages les moins éloignés, et le modèle risque de broder à partir d’eux. D’où le seuil de pertinence : en dessous d’un certain niveau de correspondance, le chatbot n’a pas le droit de répondre sur le fond.
Un « je ne trouve pas cette information sur le site, voici comment joindre l’équipe » paraît décevant. C’est pourtant la réponse qui protège le mieux votre entreprise. Nous listons les autres refus indispensables dans notre article sur les limites d’un chatbot.
Comment tester votre propre chatbot
Posez-lui trois types de questions : une dont la réponse est sur votre site, une dont la réponse n’y est pas, et une piège, par exemple une remise que vous n’avez jamais proposée. Un bon chatbot répond à la première, refuse la deuxième et dément la troisième. C’est exactement ce que permet le test gratuit de Narra-chat sur votre propre site.
Les questions qu’on nous pose
Peut-on supprimer totalement les hallucinations ?
Aucun système ne peut promettre zéro erreur sur toutes les questions possibles. En revanche, un chatbot qui répond uniquement à partir de vos pages et refuse en dessous d’un seuil de pertinence réduit les inventions à presque rien, et surtout il sait dire quand il ne sait pas.
Le choix du modèle (GPT, Claude, Gemini) change-t-il quelque chose ?
Un peu, sur la qualité de la rédaction. Mais l’essentiel se joue en amont : ce qu’on donne au modèle comme sources, et ce qu’on lui interdit. Un bon modèle mal encadré invente ; un modèle correct bien encadré n’invente pas.
Que se passe-t-il si mon site contient une information périmée ?
Le chatbot la répétera, puisqu’il s’appuie sur vos pages. C’est pour ça que la mise à jour automatique compte : corrigez la page, et la réponse suit.
