Il y a de nombreux articles en ligne qui soulignent la tendance systématique de l’IA d’OpenAI à halluciner des informations, ou à manquer de rigueur lorsqu’elle présente des faits. Et pour cause, ces erreurs systématiques reposent sur le fonctionnement intrinsèque des Grands Modèles de Language (LLM).
Toutefois, il est vraiment possible d’améliorer la qualité des « outputs » de l’IA. Du simple prompt au système complet, je vous présente 5 techniques puissantes pour améliorer la fiabilité de ChatGPT dans les réponses qu’il vous donne !
Le fonctionnement des modèles de langage : pourquoi l’erreur est inévitable ?
Pour comprendre en quoi cela est difficile d’obtenir des informations 100% fiables de la part de ChatGPT, il faut revenir aux bases de son fonctionnement. ChatGPT, tout comme les autres modèles d’IA générative de texte, est un Large Language Model entraîné sur un volume considérable de données textuelles. Cet entraînement, appelé « apprentissage de grande ampleur », lui permet d’identifier des concepts et de créer des relations sémantiques profondes.
Ensuite, lorsqu’un utilisateur envoie une requête à ChatGPT, l’IA utilise un système d’inférence de grande ampleur pour trouver la réponse la plus probable à la demande de l’utilisateur. Ce modèle s’évertue donc à proposer le résultat le plus satisfaisant possible pour l’utilisateur, en termes de probabilité.
Et les capacités de ChatGPT s’arrêtent là.
Il ne dispose pas de la finesse de l’intelligence humaine pour analyser et ajuster sa réponse en temps réel. Ce système probabiliste manque de discernement et de compétence à contextualiser la réponse fournie.
Pour vérifier un fait, le modèle va donc se baser sur ses connaissances, et appliquer son modèle probabiliste. Il va ensuite construire sa réponse de manière naturellement structurée, et dans un langage parfaitement intelligible (souvent mieux exprimé que ce qu’aurait produit un humain). Cet « output » parfait peut induire en erreur l’utilisateur, qui reçoit une réponse clé en main. Cependant, en termes de fond, ChatGPT n’aura sans doute pas exploité toutes les facettes de l’information, pour y déceler la vérité.
Et c’est d’ailleurs ce qui réside dans la difficulté du travail de fact-checking : il s’agit d’un processus long et fastidieux, qui se fait souvent en plusieurs étapes, et qui sollicite l’expérience et la méthode du journaliste.
Pour conclure sur ce chapitre de vérification des faits avec l’IA, gardez en tête que l’objectif intrinsèque de ces outils sont de vous fournir une réponse intelligente.
Si par exemple, vous rédigez un prompt biaisé – car basé sur une croyance plutôt qu’un fait -, l’IA ne remettra pas en question votre postulat (sauf s’il contient une désinformation avérée, comme la Terre plate ou la mort d’Elvis) et exécutera votre demande. D’ailleurs, une étude est sortie sur le sujet il y a quelques mois : les dix principaux modèles d’IA conversationnelle relaient en moyenne des informations erronées dans 30 % des cas lorsqu’ils sont confrontés à des requêtes contenant des fausses données.
Et plus vous itérerez avec elle, plus vous pourrez vous « enfoncer » vers des résultats qui s’éloignent de la vérité. De même, un prompt trop flou, rédigé à la va-vite ou ne contenant pas assez de contexte peut vous emmener également sur le terrain de la « mésinformation ». C’est ce qu’on appelle communément les hallucinations de l’IA.
Heureusement, il existe des techniques pour cadrer l’IA dans ce processus de fact-checking.
Du simple prompt au système complet, voici ma sélection des 3 meilleures techniques pour améliorer la fiabilité de ChatGPT.
Technique de fiabilité n°1 : un prompt expert et cadré
Cette première technique vous permet de solliciter ChatGPT en mode « Expert » + de lui injecter un prompt rédigé pour optimiser son fact-checking. Comme vu plus haut, l’IA a une tendance fâcheuse à générer de la mésinformation, et peut s’avérer limitée dans la fiabilité des réponses qu’elle produit. Avec ce prompt, vous sollicitez au mieux l’expertise du chatbot que vous utilisez, et vous le cadrez pour qu’il produise la vérification la plus objective.
Template de prompt :
Tu es [nom du spécialiste]GPT, un expert dans [description de la spécialité et de l’expertise]. Analyse rigoureusement le texte suivant et vérifie si chaque information est 100% exacte. Si une information est fausse ou incomplète, corrige-la et explique pourquoi. Si tu ne peux pas vérifier, précise-le.
Texte : [Insérer le texte à fact-checker].
Exemple de résultat :
Technique de fiabilité n°2 : une info, plusieurs vérifications
Cette deuxième technique vous invite à consolider les vérifications de ChatGPT en les confiant à plusieurs instances en même temps. Là aussi, on l’a vu dans le premier chapitre de cet article : ChatGPT fonctionne de manière probabiliste. Cela signifie que ses réponses peuvent varier à chaque génération. En testant plusieurs fois le même prompt, on peut détecter des incohérences et obtenir une meilleure validation des faits.
Consigne :
Soumettez exactement le même prompt dans plusieurs discussions distinctes.
Comparer les réponses :
- Si elles sont cohérentes, elles sont probablement fiables
- Si elles divergent fortement, creusez la véracité de chaque élément via des sources externes
Exemple : comme dans la technique précédente, mettons que j’aie un doute sur les effets présentés du café. Je vais ouvrir plusieurs fenêtres de chat, et injecter un prompt qui me permette de contrôler les effets avérés du café.
Si vous utilisez une version payante de ChatGPT, ou ChatGPT Team, vous pouvez même soumettre le prompt aux différents modèles.
➡️ ChatGPT 4o :
➡️ ChatGPT o1-mini
Technique de fiabilité n°3 : rechercher en ligne avec l’IA (et avec précaution)
ChatGPT Search a été lancé il y a quelques mois. Et depuis, toutes les IA ont suivi, en intégrant la recherche en ligne dans leur interface de chat. Sans oublier Perplexity AI, précurseur en la matière.
Mais le problème de la fiabilité demeure tout autant avec cette possibilité de recherche sur la toile.
Des études récentes montrent que ChatGPT extrait les informations trouvées en ligne de manière partielle seulement, voire invente des faits.
Toutefois, il sait aussi tomber juste, si bien encadré.
Pour cette technique, demandez-lui explicitement de citer ses sources et d’effectuer un double-checking de sa propre réponse pour améliorer la robustesse des faits.
Template de prompt :
« Utilise la recherche en ligne pour trouver des sources fiables sur [information à vérifier].
Cite précisément les références et vérifie que les informations proviennent d’études scientifiques ou d’experts reconnus.
Après avoir fourni une réponse, refais une vérification sur chaque point et indique s’il y a des contradictions ou des doutes. »
Exemple : après avoir présenté ses résultats de recherche, ChatGPT vous proposera une synthèse et une note sur la vérification des informations.
Technique de fiabilité n°4 : générer et fact-checker
Cette dernière technique relève surtout d’un réflexe à adopter face à tout texte que vous générez avec l’IA, ou toute source qui vous fait douter. De fait, elle peut par exemple être utilisée avec la technique ci-dessus, pour rajouter une couche de solidité aux informations récupérées en ligne par ChatGPT.
Ou bien, vous pouvez générer un texte sur un sujet dans une fenêtre de ChatGPT, et vérifier les infos de ce texte dans une nouvelle discussion.
Ou encore, vous pouvez copier-coller un paragraphe en ligne et le faire fact-checker par ChatGPT.
Exemple :
1er chat : on demande à ChatGPT de générer de l’information sur ce qui nous intéresse.
2e chat : on demande à ChatGPT de fact-checker le texte ainsi généré. L’IA exécute généralement une analyse détaillée, et si vous avez de la chance, vous propose une synthèse des points inexacts ou imprécis.
Tableau récapitulatif des techniques
| 🤖 Nom de la technique | 🤓 Explications | 🏆 Conseils de prompting |
|---|---|---|
| Solliciter son mode ‘Expert’ avec un prompt dédié | L’IA a tendance à produire des erreurs, mais en lui attribuant un rôle précis, on maximise ses capacités d’analyse et d’objectivité. | Définis un rôle précis dans le prompt : « Tu es HistorienGPT, spécialiste des conflits mondiaux. Vérifie ce texte et identifie toute inexactitude. » Ajoute : « Si tu n’es pas sûr d’un fait, précise-le. » |
| Régénérer le même prompt plusieurs fois | ChatGPT donne des réponses qui varient à chaque génération. Comparer plusieurs versions permet de repérer des incohérences et de croiser les informations. | Pose la même question dans plusieurs conversations distinctes. Si les réponses sont cohérentes, elles ont plus de chances d’être exactes. Si elles diffèrent, vérifie avec des sources externes. |
| Connecter l’IA à la recherche en ligne (avec précaution) | ChatGPT peut extraire des informations en ligne, mais parfois de manière partielle ou erronée. Il faut encadrer ses recherches et valider les sources. | Demande-lui d’effectuer une recherche en ligne avec : « Utilise la recherche pour trouver des sources fiables sur [sujet]. Cite précisément les références et vérifie leur cohérence. » Ajoute : « Fais un double-checking des informations que tu as fournies. » |
| Utilise le principe de Génération / Vérification | La première instance de ChatGPT génère une réponse. La seconde, utilisée comme vérificateur, analyse cette réponse pour détecter d’éventuelles erreurs, exagérations ou incohérences. | Ouvrir deux fenêtres ChatGPT : – La première génère la réponse. – La seconde vérifie avec : « Peux-tu fact-checker ce texte avec rigueur et identifier des erreurs ? » |
😮 Vous aimez ce que vous lisez ? 😮
Vous allez adorer l’aide-mémoire complet que j’ai créé, pour vous aider à bien prompter !
Vous trouverez les techniques de fact-checking avec l’IA présentées dans cet article, mais surtout de nombreuses autres bonnes pratiques pour structurer vos prompts et tirer le meilleur de ChatGPT.
Cette « cheatsheet » est entièrement gratuite, il vous suffit juste de me laisser votre adresse email ci-dessous. ⬇️
Bonus : un système complet pour automatiser votre fact-checking avec l’IA
Si vous avez réellement lu cet article, vous vous êtes aperçu qu’il manquait une technique de vérification, par rapport à la promesse de l’article. C’est tout à fait volontaire de ma part.
Voici pour conclure et en quelques mots, ma recommandation pour automatiser autant que possible votre fact-checking avec l’IA. Il s’agit ici d’une structure logique d’utilisation de l’IA à cette fin, plutôt qu’une technique en tant que tel.
- Commencez par utiliser l’IA pour réaliser une analyse critique des informations de votre texte, en lui définissant un rôle, et en lui demandant de recommander des sources fiables pour vérifier les informations « suspectes » qu’elle aura identifiées
- Mobilisez votre expertise et les sources ainsi proposées pour constituer une base de connaissances. L’objectif est de compiler des publications de référence dans un fichier local ou un Google Doc, afin de les partager à l’IA dans l’étape d’après
- Pour automatiser ce processus de fact-checking, créez un Custom GPT (ou un Gemini Gem si vous utilisez Google Gemini) en réfléchissant bien aux instructions de fonctionnement que vous allez lui donner en « back-office ».
- Exemple :
- Contexte,
- Objectif global
- Cas d’usage possibles
- Workflow
- Points de vigilance.
- Cela vous demandera du temps, mais vous aurez finalement un assistant spécialisé et performant pour cette tâche. C’est donc intéressant s’il s’agit d’une tâche récurrente dans votre métier.
- 🚨 Vous pouvez également commenter cet article ou m’envoyer un message pour que je vous envoie mon Custom GPT entièrement fonctionnel. 🚨
- Exemple :
- Enfin, itérez avec le Custom GPT « fact-checkeur » :
- Fournissez-lui votre texte à vérifier et l’analyse produite à l’étape 1
- Cadrez-le encore davantage,
- Faites-le « double-checker » ses réponses dans la base de connaissances
- Demandez-lui de produire une version corrigée du texte, avec le détail des modifications apportées.
Voilà pour l’ensemble de ces techniques. Et vous, avez-vous expérimenté d’autres approches pour améliorer la fiabilité de ChatGPT ?
0 commentaires