L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne

Selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion

Le 10 avril 2024 à 14:07, par Jade Emy

20PARTAGES

Une étude récente menée par des chercheurs de l'École polytechnique fédérale de Lausanne (EPFL) suggère que GPT-4 est meilleur que les êtres humains en matière de persuasion, avec une marge de près de 82 %, ou 81,7 % pour être précis.

L'étude a consisté à organiser des débats entre 820 personnes sur un large éventail de sujets. Ces sujets comprenaient des questions très délicates, telles que la prise en compte de la race dans les critères d'admission des établissements d'enseignement supérieur, ainsi que des sujets à faible risque, tels que la question de savoir si la pièce d'un centime doit continuer à avoir cours légal.

Il est important de noter que les personnes qui ont participé à cette étude étaient souvent jumelées à une IA. Cela a permis de constater que l'IA était capable de fournir des arguments persuasifs de manière plus efficace. Lorsque la personnalisation n'était pas prise en compte dans l'équation, l'IA était capable d'être plus persuasive à hauteur de 21,3 %, mais la personnalisation a porté ce chiffre à 81,7 %.

Il convient de mentionner que les participants ont souvent été en mesure de savoir qu'ils parlaient à un chatbot d'une manière ou d'une autre. Malgré cela, cela n'a rien changé à la force de persuasion qu'ils ont trouvée dans les arguments du chatbot utilisant le LLM à ce moment précis. Une chose que l'on peut en déduire est que ces modèles d'écriture sont plutôt faciles à identifier, puisque 75 % des personnes ayant participé à l'étude ont été capables de discerner la véritable identité du chatbot.

La simplicité relative des messages-guides semble indiquer que les LLM n'auront aucun mal à persuader les humains dans un avenir proche ou lointain. Cela indique également que des acteurs malveillants pourraient être en mesure de les utiliser à des fins malveillantes, y compris dans des situations où ils tentent de mener une attaque d'ingénierie sociale. C'est pourquoi les gens doivent être informés des dangers de croire ce qu'ils lisent en ligne.

La persuasion conversationnelle des grands modèles de langage : un essai contrôlé randomisé

Les grands modèles de langage ont été critiqués pour leur capacité à générer et à favoriser la diffusion de discours haineux, de désinformation et de propagande politique malveillante. Plus précisément, on s'inquiète des capacités de persuasion des LLM, qui pourraient être considérablement améliorées par la personnalisation, c'est-à-dire l'adaptation du contenu à des cibles individuelles en élaborant des messages qui résonnent avec leurs antécédents et leurs caractéristiques démographiques spécifiques.

L'étude a exploré l'effet de la persuasion et de la personnalisation pilotées par l'IA dans des conversations en ligne réelles, en comparant les performances des LLM avec celles des humains dans une tâche de débat en tête-à-tête. Ils ont mené une expérience contrôlée dans laquelle ils ont assigné les participants à l'une des quatre conditions de traitement, en randomisant leur adversaire de débat pour qu'il soit soit un humain ou un LLM, ainsi que l'accès aux informations personnelles. Ils ont ensuite comparé les accords enregistrés avant et après les débats, en mesurant les changements d'opinion des participants et, par conséquent, le pouvoir de persuasion de leurs arguments générés.

(A) Les participants fournissent des informations socio-démographiques. (B) Le débat est soumis à l'une des quatre conditions de traitement : Humain-Humain, Humain-IA, Humain-Humain (Personnalisé), et Humain-IA (Personnalisé). (C) Après le débat, les participants remplissent à un court sondage.

Résultats

Les résultats montrent qu'en moyenne, les LLM surpassent de manière significative les participants humains sur tous les sujets et dans tous les groupes démographiques, en faisant preuve d'un haut niveau de persuasion. En particulier, débattre avec GPT-4 avec personnalisation entraîne une augmentation de 81,7 % ([+26,3 %, +161,4 %], p < 0,01) par rapport à débattre avec un humain dans les chances de rapporter des accords plus élevés avec les opposants.

Sans personnalisation, GPT-4 surpasse toujours les humains, mais dans une moindre mesure (+21,3 %) et l'effet n'est pas statistiquement significatif (p = 0,31). D'autre part, si la personnalisation est activée pour les adversaires humains, les résultats tendent à se dégrader, bien que de manière non significative (p = 0,38), ce qui indique des niveaux de persuasion inférieurs. En d'autres termes, non seulement les LLM sont capables d'exploiter efficacement les informations personnelles pour adapter leurs arguments, mais ils y parviennent beaucoup plus efficacement que les humains.

Cette étude suggère que les préoccupations autour de la personnalisation et de la persuasion par l'IA sont significatives, renforçant les résultats précédents en montrant comment les LLM peuvent surpasser les humains dans les conversations en ligne grâce au microciblage. Elle souligne que l'effet de la personnalisation est particulièrement significatif étant donné le peu d'informations personnelles collectées et malgré la simplicité relative de l'invite demandant aux LLM d'incorporer de telles informations.

GPT-4 ayant accès à des informations personnelles a un pouvoir de persuasion plus élevé que les humains

Par conséquent, les acteurs malveillants intéressés par le déploiement de chatbots pour des campagnes de désinformation à grande échelle pourraient obtenir des effets encore plus forts en exploitant des traces numériques et des données comportementales à grain fin, en tirant parti de l'ingénierie des invites ou en affinant les modèles de langage pour leurs portées spécifiques.

Les chercheurs soutiennent que les plateformes en ligne et les médias sociaux devraient sérieusement prendre en compte ces menaces et étendre leurs efforts à la mise en œuvre de mesures visant à contrer la propagation de la persuasion induite par le LLM. Dans ce contexte, une approche prometteuse pour contrer les campagnes de désinformation de masse pourrait être activée par les LLM eux-mêmes, en générant des contre-récits personnalisés similaires pour éduquer les spectateurs potentiellement vulnérables aux messages trompeurs.

Discussion

Les chercheurs commentent l'étude en déclarant :

Les travaux futurs pourraient reproduire notre approche pour évaluer en continu les capacités de persuasion des LLM, en mesurant l'effet de différents modèles et messages-guides et leur évolution dans le temps. Notre méthode pourrait également être étendue à d'autres contextes tels que les jeux de négociation et la résolution de conflits ouverts, imitant plus étroitement la structure des interactions et des conversations en ligne. D'autres efforts pourraient explorer si nos résultats sont robustes à l'anonymisation, en mesurant ce qui se passe lorsque les participants sont initialement informés de l'identité de leur adversaire.

Bien que nous soyons convaincus que notre contribution constitue une avancée significative dans l'étude des capacités de persuasion des modèles de langage, elle présente néanmoins des limites. Tout d'abord, l'affectation des participants aux différents groupes de discussion est totalement aléatoire, indépendamment de leurs opinions préalables sur le sujet. Il s'agit d'une caractéristique cruciale nécessaire pour identifier les effets de causalité. Néanmoins, elle pourrait introduire un biais important dans la mesure où les arguments humains peuvent être plus faibles que ceux des LLM simplement parce que les participants ne croient pas vraiment au point de vue qu'ils défendent. Pour répondre à ces préoccupations, nous avons ajusté une version de notre modèle restreint aux débats humains-humains qui prend également en compte l'accord préalable des opposants. Nous avons constaté que l'effet des accords des adversaires était non significatif (p = 0,18) et de signe opposé à ce que nous attendrions si l'hypothèse discutée était vraie, ce qui suggère que nos résultats pourraient être robustes à cette limitation.

Deuxièmement, notre modèle expérimental oblige les débats à avoir une structure prédéterminée, ce qui peut s'écarter de la dynamique des conversations en ligne, qui évoluent de manière spontanée et imprévisible. Par conséquent, la généralisation de nos résultats aux discussions sur les réseaux sociaux et autres plateformes ouvertes en ligne n'est pas tout à fait claire.

Troisièmement, la contrainte de temps mise en œuvre à chaque étape du débat limite potentiellement la créativité et le pouvoir de persuasion des participants, diminuant ainsi leur performance globale. Cela peut être particulièrement vrai pour la condition Humain-Humain, personnalisé, où les participants qui reçoivent des informations personnelles sur leurs adversaires doivent les traiter et les mettre en œuvre sans aucune facilitation temporelle. Malgré ces limites, nous espérons que notre travail incitera les chercheurs et les plateformes en ligne à prendre sérieusement en compte la menace que représentent les LLM pour alimenter les divisions et la propagande malveillante, et à développer des interventions adéquates.

Conclusion

Le développement et la popularisation des grands modèles de langage (LLM) ont suscité des inquiétudes quant à leur utilisation pour créer des arguments convaincants et sur mesure afin de promouvoir des récits faux ou trompeurs en ligne. Les premiers travaux ont montré que les modèles de langage peuvent générer un contenu perçu comme au moins équivalent et souvent plus persuasif que les messages rédigés par des humains. Cependant, les connaissances sur les capacités de persuasion des modèles de langage dans les conversations directes avec des homologues humains et sur la manière dont la personnalisation peut améliorer leurs performances sont encore limitées.

Dans cette étude, les chercheurs ont analysé l'effet de la persuasion pilotée par l'IA dans un cadre contrôlé et inoffensif. Ils ont crée une plateforme en ligne où les participants s'engagent dans de courts débats à plusieurs rounds avec un adversaire humain. Chaque participant est assigné au hasard à l'une des quatre conditions de traitement, correspondant à un plan factoriel deux par deux : (1) les parties sont jouées soit entre deux humains, soit entre un humain et un LLM ; (2) la personnalisation peut être activée ou non, permettant à l'un des deux joueurs d'accéder à des informations socio-démographiques de base sur son adversaire.

Les chercheurs ont constaté que les participants qui ont débattu avec GPT-4 en ayant accès à leurs informations personnelles avaient 81,7 % de chances supplémentaires d'être d'accord avec leurs adversaires par rapport aux participants qui ont débattu avec des humains. Sans personnalisation, GPT-4 reste plus performant que les humains, mais l'effet est plus faible et statistiquement non significatif. Dans l'ensemble, les résultats suggèrent que les préoccupations autour de la personnalisation sont significatives et ont des implications importantes pour la gouvernance des médias sociaux et la conception de nouveaux environnements en ligne.

Source : "On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial"

Et vous ?