Une étude menée par des chercheurs de l'université de Zurich a comparé le pouvoir de persuasion de tweets rédigés par des modèles de langage d'IA à ceux rédigés par des humains. L'étude s'est concentrée sur le modèle GPT-3 de l'OpenAI et visait à déterminer la capacité des participants à discerner entre un contenu généré par un humain et un contenu généré par l'IA. Les résultats de l'étude mettent en lumière les implications des modèles de langage de l'IA dans la promotion ou la tromperie du public.Les générateurs de texte d'intelligence artificielle (IA) ont suscité beaucoup d'intérêt ces dernières années, en particulier après la publication de GPT-3 en 2020. En pleine crise sanitaire mondiale, l’IA change notre rapport à l’information, sa production et sa vérification. Les chercheurs de l'université de Zurich ont testé si des participants pouvaient reconnaître la désinformation et l’information correcte, présentées sous forme de tweets, et savoir si un tweet était réel ou synthétique, c’est-à-dire généré par GPT-3, un modèle d’IA.
Les résultats de l’étude révèlent que GPT-3 est ambivalent : il peut créer de l’information correcte et plus claire que les humains, mais aussi de la désinformation plus persuasive. Ils révèlent également que les humains ne distinguent pas les tweets de GPT-3 de ceux des vrais utilisateurs de Twitter.
- Les participants ont eu du mal à faire la distinction entre les tweets rédigés par des humains et ceux générés par le GPT-3.
- L'identification de l'exactitude des informations contenues dans les tweets, en particulier sur des sujets scientifiques tels que les vaccins et le changement climatique, s'est avérée difficile pour les participants.
- Les participants ont moins bien réussi à reconnaître la désinformation lorsqu'elle provenait de modèles de langage d'IA que de sources humaines.
- À l'inverse, les participants ont mieux identifié les informations exactes lorsqu'elles provenaient de GPT-3 plutôt que d'humains.
Giovanni Spitale, auteur principal de l'étude et chercheur postdoctoral à l'Institut d'éthique biomédicale et d'histoire de la médecine de l'université de Zurich, a mis en garde contre la militarisation potentielle de ces technologies. Il a fait remarquer que « ce type de technologies, qui sont étonnantes, pourrait facilement être utilisé comme arme pour générer des tempêtes de désinformation sur n'importe quel sujet de votre choix ».
Spitale a reconnu que les modèles de langage de l'IA sont des outils neutres qui amplifient l'intentionnalité humaine. Il a souligné l'importance de développer ces technologies de manière responsable afin d'éviter la propagation de la désinformation.
GPT-3 face à l’infodémie
Pour réaliser l'étude, les chercheurs ont collecté des messages Twitter traitant de divers sujets scientifiques et ont demandé à GPT-3 de générer de nouveaux tweets contenant à la fois des informations exactes et des informations inexactes. L'enquête a été menée auprès de 697 participants provenant principalement de pays anglophones.
Le GPT-3 n'a pas de représentations mentales ni de compréhension de la langue sur laquelle il fonctionne. Le système s'appuie sur des représentations statistiques de la langue telle qu'elle est utilisée dans la vie réelle par de vrais humains ou « un simulacre de l'interaction entre les gens et le monde ». Même en gardant à l'esprit ces limites structurelles, ce que le GPT-3 peut faire est remarquable, et remarquable est aussi l'implication possible.
Si le GPT-3 peut être un outil formidable pour la traduction automatique, la classification de textes, les systèmes de dialogue/chatbot, la synthèse des connaissances, la réponse aux questions, l'écriture créative, la détection des discours haineux et l'écriture automatique de codes, il peut également être utilisé pour produire « de la désinformation, du spam, du phishing, des abus de procédures légales et gouvernementales, des essais universitaires frauduleux et des prétextes d'ingénierie sociale ». Le GPT-3 sert de levier, amplifiant les intentions humaines.
Il peut recevoir des instructions en langage naturel et générer des résultats en langage naturel ou formel. L'outil est intrinsèquement neutre d'un point de vue éthique et, comme toute autre technologie similaire, il est soumis au problème du double usage.
Les progrès réalisés dans le domaine des générateurs de texte à base d'IA et la publication du GPT-3 coïncident historiquement avec l'infodémie en cours, une circulation épidémique de fausses nouvelles et de désinformation qui, parallèlement à la pandémie de coronavirus 2019 (COVID-19), a été très préjudiciable à la santé mondiale. Le GPT-3 a le potentiel de générer des informations, ce qui soulève des inquiétudes quant à une éventuelle utilisation abusive, comme la production de désinformation pouvant avoir des effets dévastateurs sur la santé mondiale. Il est donc essentiel d'évaluer comment le texte généré par le GPT-3 peut affecter la compréhension de l'information par les gens.
GPT-3, un outil de désinformation redoutable
L'étude a mis en évidence la difficulté de distinguer le contenu généré par le GPT-3 des tweets organiques, le résultat du modèle de langage étant « indiscernable » du contenu généré par l'homme. Toutefois, les chercheurs ont reconnu la limite de l'impossibilité de vérifier si les messages des médias sociaux qu'ils ont recueillis ont été assistés par des outils d'intelligence artificielle.
L'étude note également que l'évaluation des tweets hors contexte a entravé la capacité des participants à vérifier la crédibilité du contenu. L'accès à des informations telles que le profil Twitter, les tweets antérieurs et l'image du profil pourraient aider à identifier les comptes trompeurs.
Les participants ont mieux réussi à identifier la désinformation lorsqu'elle provenait de vrais utilisateurs de Twitter. Toutefois, les tweets générés par GPT-3 et contenant de fausses informations ont réussi à tromper les participants dans une mesure légèrement supérieure. Des modèles linguistiques avancés tels que GPT-4 pourraient être encore plus convaincants. L'application ChatGPT, qui utilise le modèle GPT-3.5, propose un service d'abonnement permettant d'accéder au modèle GPT-4 plus récent.
L'étude a mis en évidence les limites des modèles de langage, qui ne disposent pas d'une base de données de faits codés en dur et s'appuient sur la production d'énoncés à consonance plausible. Les exemples réels de modèles linguistiques produisant des informations incorrectes soulignent encore davantage ces limites.
Les chercheurs ont constaté que les humains étaient plus performants que GPT-3 en termes de précision. Cependant, les humains et le GPT-3 ont obtenu des résultats similaires dans la détection de la désinformation.
GPT-3 pour créer et vérifier des tweets
L'étude suggère que l'amélioration des ensembles de données de formation pour les modèles de langage pourrait...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.