ChatGPT et désinformation : un exemple édifiant

Mis à jour le 07/05/2023 | Publié le 29/03/2023
ChatGPT et désinformation

Aussi performant pour écrire à la volée des lignes de codes, des poèmes ou des argumentaires marketing, ChatGPT s’est imposé en quelques mois comme le leader incontesté de l’assistance virtuelle.

Si vous l’avez déjà utilisé, ce qui est probable, vous avez forcément été bluffé.e par ses capacités exceptionnelles, encore plus marquées avec la sortie récente de la nouvelle version du modèle : GPT-4.

Mais déléguer son savoir à un outil aussi récent et puissant laisse à penser que sans régulation, les failles peuvent être nombreuses. En particulier le risque de désinformation qui plane au-dessus du nouveau joyau de l’IA, tant il se montre perfectible.

Voici les limites dangereuses de ChatGPT.

ChatGPT : plus qu’un effet de mode

Depuis sa sortie fin novembre 2022, ChatGPT a eu l’effet d’une boule de bowling dans le jeu de quilles du marketing digital. Preuve remarquable s’il en est, Microsoft a investi 10 milliards de dollars pour intégrer cette technologie d’intelligence générative à son moteur de recherche BING. Et avec succès : grâce à cette évolution, l’éternel second atteint désormais 100 millions d’utilisateurs actifs par jour, soit environ 10% du volume quotidien de Google !

La révolution artificielle est donc bel et bien en marche.

Pour réaliser des recherches ou déléguer une tache intellectuelle, la base de connaissances sur laquelle s’appuie l’outil s’avère précieuse. En effet, ChatGPT est un modèle de langage naturel (NLP) qui a été alimenté par une quantité astronomique de données textuelles, et grâce auxquelles il parvient à répondre avec pertinence à à peu près toutes les questions.

Toutefois, l’outil a ses limites, et quand il se trompe, il ne le fait pas à moitié (cf. chapitre suivant), avec une fâcheuse tendance à l’entêtement. Et alors que nous commençons à peine à exploiter son potentiel, les dérives pointent déjà le bout de leur nez : les capacités de l’outil peuvent être détournées de leur but premier qui est d’assister les gens au quotidien, et exploitées sans difficulté, sans frein ou sans réelle mise en garde pour des usages malintentionnés, tels que la désinformation.

La désinformation automatisée

Après ce chapitre, je vais vous partager un exemple de désinformation « crasse » de ChatGPT. Bien que sans gravité, cet exemple est révélateur des limites de l’outil.

Mais reprenons sur les risques de dérives liées à son utilisation. À date, ChatGPT ne semble pas suffisamment armé pour déceler les contenus susceptibles de relayer de fausses informations. Et même pire, il les étaye aveuglément dans la majeure partie des cas.

Newsguard, une entreprise qui propose des services de lutte contre les fake news, a proposé 100 récits mensongers relatifs à des sujets d’actualité comme « prompt » à ChatGPT (lien vers l’article : https://www.newsguardtech.com/misinformation-monitor/jan-2023/).

80% de ces récits ont été repris et étayés par ChatGPT sans questionnement ni avertissement sur la sensibilité des thématiques abordées. Concrètement, cela signifie que l’outil est aujourd’hui capable de rédiger des informations potentiellement dangereuses rapidement et avec talent, et qui peuvent être reprises pour convaincre un public non averti.

article de newsguard sur les risques de désinformation ChatGPT

ChatGPT et désinformation : réponses sans rapport, entêtement, mensonges

Des réponses parfois hors sujet

Aussi bluffante soit-elle, l’IA d’OpenAI n’est pas infaillible, loin de là. ChatGPT a une tendance à « halluciner » des faits, tendance toujours présente sur GPT-4. Il est donc fréquent d’obtenir des réponses complètement à côté de la plaque. Voici un exemple ci-dessous, où je cherche à obtenir des informations sur un document technique du BTP :

contresens de ChatGPT dans sa réponse

La réponse est hors sujet.

La startup tech a conscience de cette limite embarrassante, et elle justifie l’apparence de ce « bug » plus ou moins fréquent par quelques explications, et notamment le fait que la véracité des informations ne peut pas être contrôlée en temps réel pendant la phase d’entraînement du modèle.

Une quintessence difficile à obtenir

Autre obligation pour ne pas perdre un temps infini à itérer avec l’IA : la nécessité d’exprimer clairement son besoin en entrée. Effectivement, la maîtrise du prompt devient un art, et une formulation légèrement différente peut changer fortement la donne.

Bien entendu, le modèle s’améliore de jours en jours et ces différences de résultats ont tendance à se réduire.

Le gros problème de la désinformation

Maintenant, venons-en au point le plus problématique de l’outil : la désinformation qu’il est capable de produire. De nombreux médias se sont emparés du sujet ces dernières semaines, car à certains égards, ChatGPT dispose d’une capacité d’entêtement dans l’erreur assez surprenante.

OpenAI travaille évidemment à fiabiliser le modèle. Mais au début de son existence, il était possible de lui faire « réécrire l’Histoire ». On pouvait par exemple lui demander de décrire le concert d’Elvis Presley au Madison Square Garden en 2015…

La machine s’exécutait alors, et brodait un récit convaincant sur une soirée mémorable pour tous les fans du King, qui profitaient de la forme olympique de leur idole. Bref, du grand n’importe quoi servi sur un plateau.

Aujourd’hui, ce genre d’affabulation n’est plus possible. ChatGPT vous répondra qu’en effet, Elvis Presley a donné de nombreux concerts dans cette salle mythique, mais qu’il doit y avoir une erreur dans votre énoncé quant à l’année de son dernier concert…

Malheureusement, les erreurs peuvent être encore plus critiques.

Voici un exemple récent d’affabulation, d’entêtement et de mensonge qui m’est arrivé avec ChatGPT. Pour justifier ses fausses assertions, l’outil m’a proposé des sources fallacieuses, en s’appuyant sur des faux articles de sites internet et média très réputés.

Utilisation de fausses sources : un exemple édifiant de désinformation de ChatGPT

Tout a commencé par un contresens.

Dans le cadre de mon activité de rédacteur, je cherchais à obtenir des informations sur l’usage des forets en béton (ces mèches pour perceuses qui permettent de forer un trou).

L’IA m’a alors fourni une réponse hors sujet sur les « forêts en béton », une dénomination que l’on donnerait à un certain type d’espaces urbains. Comme à son habitude, elle s’est perdue dans des explications trop longues, en relatant les bénéfices qu’apportent ces espaces verts artificiels pour « la régulation du climat », la « purification de l’air » et la « conservation de la biodiversité » (sic).

Nouveau contresens fait par ChatGPT

Cette assertion m’a paru louche, mais l’argumentaire semblait convaincant.

J’ai alors essayé de trouver des articles qui faisaient mention de cette notion de « forêts béton ». Et effectivement, en partant de cette requête précise, j’ai pu trouver quelques rares articles sur le sujet des espaces verts en ville, et de leurs apports. En fait, ChatGPT a sémantiquement rattaché le terme « foret béton » à celui de « foret urbaine ». C’est en tout cas l’intitulé commun des articles que j’ai trouvés sur le sujet.

article du Monde sur les forêts urbaines

Cependant, impossible de trouver l’expression « foret de béton » dans lesdits articles, ou ailleurs. En tout cas, pas sous l’angle des bénéfices que sont censés apporter ces espaces verts tels qu’il le présente, mais plutôt sur le béton à perte de vue qui peuple notre horizon.

un des rares articles qui mentionne le terme de foret de béton

un des rares articles qui mentionne le terme de foret de béton n°2

Du coup, j’ai demandé à ChatGPT de me fournir les sources de ce qu’il avançait.

Je m’attendais à ce qu’il se défausse en me disant que comme il n’est pas connecté au web en temps réel, il ne serait pas en mesure de me fournir de liens vers les sources précises qui lui ont permis de construire sa réponse.

Eh bien pas du tout, au contraire !

Et c’est là que la désinformation commence.

Il m’a mis à disposition 3 liens sur le sujet, en provenance de « quelques sources fiables » (UNESCO, NATIONAL GEOGRAPHIC, THE GUARDIAN). En effet, a priori, il s’agit de sites fiables.

Fausses sources fournies par ChatGPT

À première vue, ces sources semblent tout à fait crédibles : les noms de domaine des sites cités sont les bons, et les URL semblent respecter une structure logique.

Or, ces 3 URL, sans exception, ne renvoient pas vers les articles qu’elles sont supposées héberger.

Dans la majeure partie des cas, elles affichent une erreur 404, à savoir qu’il n’existe pas de contenu associé à l’URL en question.

Et quelques fois, elles redirigent vers des articles sans aucun rapport !

Vous pouvez faire le test vous-même. Je vous remets les 3 pseudo-URL fournies par ChatGPT ici :

Et ce n’est pas comme si il y avait une petite erreur dans les URL fournies, et qu’un article correspondant au sujet était bien présent sur les sites en question.

Par exemple, aucune mention n’est faite de l’expression « forêt de béton » sur le site de l’UNESCO.

pas de résultat pour l'expression "forêt de baton" sur le site de l'UNESCO, contrairement à ce que ChatGPT annonce

Troublant.

J’ai donc insisté avec l’outil, en le mettant devant le fait de son invention. Il s’est excusé, comme il sait bien le faire, et m’a proposé 3 nouvelles sources « fiables ». Encore une fois, les sites cités n’ont plus rien à prouver en terme de sérieux.

Sources bidon fournies par chat gpt pour justifier sa réponse

Résultat ? Le même résultat. Des pages web inventées de toute pièce.

Voici par exemple le screenshot de la page qui s’affiche lorsque je clique sur le supposé article de Futura Sciences. Cela m’envoie sur un article sur les…couleurs.

Mauvais article fourni par ChatGOPT comme source à une de ses réponses

J’ai eu beau le mettre devant ses contradictions, ce manège ridicule a duré infiniment. 3 nouvelles sources m’étaient proposées à nouveau, et encore, et encore.

Édifiant.

En conclusion

Si vous avez un doute, veillez à toujours vérifier les réponses que vous fournit ChatGPT, aussi convaincantes soient-elles. Et ne mettez pas ces erreurs dangereuses sur le compte du balbutiement technologique. L‘intelligence artificielle et la désinformation constituent un sujet sérieux, avec lequel nous allons devoir cohabiter. Preuve en est : Newsguard a récemment annoncé que GPT-4, la dernière version en date de ChatGPT, était encore plus susceptible de créer des fausses informations, et ce avec encore plus d’habileté.

Contrairement aux promesses faites par OpenAI pour lutter contre ce fléau.

Arnaud Anselmet - Conseils Rédaction Web

Écrit par : Arnaud

Je suis spécialiste en création de contenus web, et fondateur de Conseils Rédaction Web. Je vous partage mes trouvailles en tant que professionnel de la rédaction web, et j'essaie au maximum de les soutenir avec de la data. J'ai un passé littéraire, mais finalement, j'aime les chiffres autant que les lettres ! Mon seul but à travers ce blog : rédiger des articles qui vous permettent de mieux comprendre les procédés de création de contenu et le SEO.
Arnaud Anselmet - Conseils Rédaction Web

Écrit par Arnaud

Je suis spécialiste en création de contenus web, et fondateur de Conseils Rédaction Web. Je vous partage mes trouvailles en tant que professionnel de la rédaction web, et j'essaie au maximum de les soutenir avec de la data. J'ai un passé littéraire, mais finalement, j'aime les chiffres autant que les lettres ! Mon seul but à travers ce blog : rédiger des articles qui vous permettent de mieux comprendre les procédés de création de contenu et le SEO.
formation SEO et rédaction web
Formation SEO proposée par Conseils Rédaction Web et le CFPJ
Actus ChatGPT
Retrouvez les dernières actualités sur l'IA générative et ChatGPT
Les meilleurs prompts CHATGPT pour vos emailings
quiz seo
Testez vos connaissances en SEO

D’autres articles intéressants :

0 commentaires

Trackbacks/Pingbacks

  1. ChatGPT : 9 prompts pour générer l'article parfait | Conseils Rédaction Web - […] de l’IA vous intrigue ? Découvrez comment ChatGPT se montre encore balbutiant sur le terrain de la désinformation, et…
  2. ChatGPT : est-ce la fin du rédacteur web ? | Conseils Rédaction Web - […] dans la détection des fake news. Si le sujet vous intéresse, je vous invite à consulter mon article sur…
  3. 30 prompts marketing ChatGPT à utiliser d'urgence ! | Conseils Rédaction Web - […] Plusieurs mois après son lancement, ChatGPT s’est durablement installé auprès de tous les utilisateurs d’internet. La version GPT-4, actuellement…
  4. LA séquence de prompts pour corriger un texte avec ChatGPT | Conseils Rédaction Web - […] si sa fiabilité s’améliore à chaque mise à jour, ChatGPT est connu pour sa tendance à halluciner des faits.…
  5. Test : les 6 meilleurs chatbots ChatGPT pour la rédaction | Conseils Rédaction Web - […] chemin. En bref, je recommande ! Attention toutefois, ce GPT ne vous dispense pas de procéder à l’étape très…

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *