Comment l'IA est utilisée pour diffuser la désinformation en ligne

D'après un nouveau document de recherche de ShadowDragon

Comment l'IA est utilisée pour diffuser la désinformation en ligne

Un nouveau document de recherche de ShadowDragon examine comment l'IA, telle que ChatGPT, est utilisée pour diffuser de la haine et de la désinformation par le biais de fausses critiques et de "deepfakes". Rédigé par Nico Dekens, directeur du renseignement et de l'innovation en matière de collecte chez ShadowDragon, ce document examine comment identifier les documents en ligne générés par l'IA qui diffusent intentionnellement de fausses informations, voire pire.


En utilisant les messages d'erreur générés lorsqu'un utilisateur fait une demande qui viole les conditions de service et/ou qui est quelque chose que ChatGPT n'est pas capable de faire, ShadowDragon a été en mesure de trouver de fausses critiques générées par l'IA, des messages sur les médias sociaux, des discours haineux, de faux blogs et bien plus encore.

La recherche a également permis de découvrir que le ChatGPT ment souvent à propos de certaines tâches qui lui sont confiées. En d'autres termes, il commet des erreurs et ment ensuite.

L'un des problèmes mis en évidence dans l'article est l'utilisation de ChatGPT pour générer de faux avis sur les sites d'achat. Comme il a été formé sur de vastes ensembles de données d'avis, il peut en créer de nouveaux qui semblent avoir été rédigés par de vraies personnes. Ces faux avis peuvent être utilisés pour manipuler l'opinion des consommateurs, nuire aux concurrents et tromper les clients.

Les recherches personnelles de Dekens ainsi que les conversations avec d'autres enquêteurs de l'Open Source Intelligence (OSINT) ont permis de formuler des recherches spécifiques afin d'approfondir l'étude de l'utilisation abusive de ChatGPT à des fins malveillantes ou erronées.

Dekens conclut : « Il a été prouvé que ChatGPT ment, et il est toujours nécessaire de procéder à une vérification et à une validation supplémentaires des faits. Nous pouvons utiliser des techniques de recherche OSINT tradecraft pour trouver et exposer le contenu faux, falsifié ou offensant généré par ChatGPT, et nous pouvons utiliser ces informations pour pivoter vers les comptes d'utilisateurs et les plateformes qui hébergent et diffusent ces mauvais éléments de contenu générés par l'IA ».

Source : ShadowDragon

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des conclusions de l'étude de ShadowDragon ?
Trouvez-vous que les conclusions formulées dans ce rapport sont pertinentes ou crédibles ?
Quel est votre ressenti concernant les chatbots d'IA ? Selon vous, comment devrait-on encadrer leurs usages pour qu'ils soient plus sûrs ?

Voir aussi :

Google a promis qu'il cesserait de vendre des publicités faisant de la désinformation sur le changement climatique, mais cela n'est pas arrivé, la société continue de tirer profit de ces publicités

Le côté obscur de l'IA : les fermes de contenu utilisent les chatbots à mauvais escient en termes de désinformation

Une étude montre que la désinformation se propage six fois plus vite sur Facebook qu'il y a un an, la société aurait tenté de nuire à l'étude en bannissant les chercheurs de la plateforme

L'IA peut maintenant écrire de la désinformation pour tromper les lecteurs, des chercheurs ont utilisé le générateur de texte GPT-3 pour écrire des tweets que les gens ont trouvés convaincants