Une nouvelle étude menée par des scientifiques de l'université de Pittsburgh a révélé que les lecteurs de poésie non experts sont moins bons pour identifier les poèmes générés par l'intelligence artificielle (IA) que pour les deviner.L'étude a demandé à ChatGPT-4 de générer plusieurs poèmes dans le style de poètes humains célèbres (dont Plath, Whitman et Byron) et de les juxtaposer à des poèmes écrits par des humains et des poètes célèbres (par exemple, T. S. Eliot). Les participants devaient ensuite déterminer si un poème avait été écrit par un humain ou par une IA et identifier les poèmes qu'ils préféraient et pourquoi.
ChatGPT est un chatbot d'intelligence artificielle générative (IA) développé par OpenAI et lancé en 2022. Il est basé sur le grand modèle de langage (LLM) GPT-4o, peut générer des réponses conversationnelles semblables à celles des humains et permet aux utilisateurs d'affiner et d'orienter une conversation vers la longueur, le format, le style, le niveau de détail et la langue souhaités. On lui attribue l'accélération de l'essor de l'IA, qui a conduit à des investissements rapides et continus dans le domaine de l'intelligence artificielle et à l'attention du public à l'égard de cette technologie.
L'étude a révélé que l'échantillon de lecteurs non experts avait 46,6 % de chances d'identifier les poèmes générés par l'IA. Les participants étaient également « plus enclins à juger les poèmes générés par l'IA comme étant d'origine humaine que les véritables poèmes d'origine humaine ».
En outre, l'étude a conclu que les participants évaluaient les poèmes générés par l'IA plus favorablement dans certains domaines que les poèmes écrits par des humains. Le fait que les poèmes générés par l'IA soient mieux notés dans des domaines tels que le rythme et la beauté a probablement contribué à l'attribution erronée à des auteurs humains.
Les auteurs de l'étude estiment que la simplicité des poèmes générés par l'IA a largement contribué à cette préférence inattendue. Les poèmes générés par l'IA étaient plus simples et les participants étaient beaucoup plus enclins à décrire les poèmes créés par des humains avec une variante de « n'a pas de sens » qu'à utiliser cette description pour les poèmes générés par l'IA (144 contre 29). Il en résulte un effet « plus humain qu'humain ». Comme les participants à l'étude préféraient les poèmes générés par l'IA, ils ont supposé qu'ils étaient écrits par des humains parce qu'ils pensaient qu'ils préféreraient les poèmes écrits par des humains.
Les auteurs expliquent :
Contrairement à ce qu'indiquaient des études antérieures, les gens semblent aujourd'hui incapables de distinguer de manière fiable la poésie générée par l'IA hors boucle humaine de la poésie écrite par l'homme et rédigée par des poètes bien connus. En fait, le phénomène « plus humain qu'humain » découvert dans d'autres domaines de l'IA générative est également présent dans le domaine de la poésie : les participants non experts sont plus susceptibles de juger qu'un poème généré par l'IA est d'origine humaine qu'un poème qui est en fait d'origine humaine. Ces résultats signalent un bond en avant dans la puissance de l'IA générative : la poésie était auparavant l'un des rares domaines dans lesquels les modèles d'IA générative n'avaient pas atteint le niveau d'indiscernabilité dans les paradigmes de l'homme hors de la boucle
En outre, les gens préfèrent les poèmes générés par l'IA aux poèmes écrits par des humains, en accordant systématiquement une note plus élevée aux poèmes générés par l'IA qu'aux poèmes de poètes connus, et ce pour toute une série de facteurs qualitatifs. Cette préférence explique au moins en partie le phénomène « plus humain qu'humain » : lorsque l'on contrôle les opinions des gens sur l'excellence de divers aspects des poèmes, tels que leur qualité rythmique, la paternité n'a plus d'effet négatif significatif sur les croyances relatives à la paternité, ce qui suggère que les gens sont plus susceptibles de croire que les poèmes générés par l'IA sont écrits par des humains parce qu'ils préfèrent les poèmes de l'IA et parce qu'ils supposent qu'ils sont plus susceptibles d'aimer des poèmes écrits par des humains que des poèmes générés par l'IA.
Pourquoi les gens préfèrent-ils les poèmes générés par l'IA ? Nous pensons que les gens évaluent mieux les poèmes générés par l'IA en fonction de toutes les mesures, en partie parce qu'ils trouvent les poèmes générés par l'IA plus simples. Dans notre étude, les poèmes générés par l'IA sont généralement plus accessibles que les poèmes écrits par des humains. Dans notre étude sur la discrimination, les participants utilisent plus souvent des variantes de l'expression « ça n'a pas de sens » pour les poèmes créés par des humains que pour...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.