Les humains ne peuvent pas identifier les poèmes créés par l'IA, ces poèmes sont mieux notés en termes de rythme et de beauté et sont souvent confondus avec des œuvres écrites par des humains

Selon une étude

Contrairement à ce qu'indiquaient des études antérieures, les gens semblent aujourd'hui incapables de distinguer de manière fiable la poésie générée par l'IA hors boucle humaine de la poésie écrite par l'homme et rédigée par des poètes bien connus. En fait, le phénomène « plus humain qu'humain » découvert dans d'autres domaines de l'IA générative est également présent dans le domaine de la poésie : les participants non experts sont plus susceptibles de juger qu'un poème généré par l'IA est d'origine humaine qu'un poème qui est en fait d'origine humaine. Ces résultats signalent un bond en avant dans la puissance de l'IA générative : la poésie était auparavant l'un des rares domaines dans lesquels les modèles d'IA générative n'avaient pas atteint le niveau d'indiscernabilité dans les paradigmes de l'homme hors de la boucle

En outre, les gens préfèrent les poèmes générés par l'IA aux poèmes écrits par des humains, en accordant systématiquement une note plus élevée aux poèmes générés par l'IA qu'aux poèmes de poètes connus, et ce pour toute une série de facteurs qualitatifs. Cette préférence explique au moins en partie le phénomène « plus humain qu'humain » : lorsque l'on contrôle les opinions des gens sur l'excellence de divers aspects des poèmes, tels que leur qualité rythmique, la paternité n'a plus d'effet négatif significatif sur les croyances relatives à la paternité, ce qui suggère que les gens sont plus susceptibles de croire que les poèmes générés par l'IA sont écrits par des humains parce qu'ils préfèrent les poèmes de l'IA et parce qu'ils supposent qu'ils sont plus susceptibles d'aimer des poèmes écrits par des humains que des poèmes générés par l'IA.

Pourquoi les gens préfèrent-ils les poèmes générés par l'IA ? Nous pensons que les gens évaluent mieux les poèmes générés par l'IA en fonction de toutes les mesures, en partie parce qu'ils trouvent les poèmes générés par l'IA plus simples. Dans notre étude, les poèmes générés par l'IA sont généralement plus accessibles que les poèmes écrits par des humains. Dans notre étude sur la discrimination, les participants utilisent plus souvent des variantes de l'expression « ça n'a pas de sens » pour les poèmes créés par des humains que pour les poèmes générés par l'IA lorsqu'ils expliquent leurs réponses de discrimination (144 explications contre 29 explications). Dans chacun des cinq poèmes générés par l'IA et utilisés dans l'étude d'évaluation (étude 2), le sujet du poème est assez évident : le poème de style Plath traite de la tristesse ; le poème de style Whitman traite de la beauté de la nature ; le poème de style Lord Byron traite d'une femme belle et triste ; etc. Ces poèmes utilisent rarement des métaphores complexes. En revanche, les poèmes d'auteurs humains sont moins évidents : « The Boston Evening Transcript » de T.S. Eliot est une satire de 1915 d'un journal aujourd'hui disparu, qui compare les lecteurs du journal à des champs de maïs et fait référence au moraliste français du XVIIe siècle, La Rochefoucauld.


En effet, cette complexité et cette opacité font partie de l'attrait des poèmes : ils récompensent une étude et une analyse approfondies, ce qui n'est pas forcément le cas des poèmes générés par l'IA. Mais comme les poèmes générés par l'IA n'ont pas cette complexité, ils sont plus à même de communiquer sans ambiguïté une image, une humeur, une émotion ou un thème à des lecteurs de poésie non experts, qui n'ont pas forcément le temps ou l'intérêt pour l'analyse approfondie qu'exige la poésie des poètes humains. Par conséquent, les poèmes générés par l'IA, plus faciles à comprendre, sont en moyenne préférés par ces lecteurs, alors qu'en fait, l'une des caractéristiques de la poésie humaine est qu'elle ne se prête pas à une interprétation aussi facile et univoque. L'une des preuves de cette explication du phénomène « plus humain qu'humain » est le fait que l'atmosphère - le facteur sur lequel pèsent l'imagerie, la transmission d'un thème particulier et la transmission d'une humeur ou d'une émotion particulière - a l'effet positif le plus fort dans le modèle qui prédit les croyances sur la paternité du texte sur la base des scores des facteurs qualitatifs et de la paternité du stimulus. Ainsi, en contrôlant la paternité réelle et d'autres évaluations qualitatives, l'augmentation de la capacité perçue d'un poème à communiquer un thème, une émotion ou une image se traduit par une probabilité accrue d'être perçu comme un poème dont l'auteur est un être humain.

En résumé, il semble que le phénomène « plus humain qu'humain » en poésie soit dû à une mauvaise interprétation des préférences des lecteurs. Les lecteurs de poésie non experts s'attendent à aimer davantage les poèmes écrits par des humains que les poèmes générés par l'IA. En fait, ils trouvent les poèmes générés par l'IA plus faciles à interpréter ; ils comprennent plus facilement les images, les thèmes et les émotions dans les poèmes générés par l'IA que dans les poèmes plus complexes des poètes humains. Ils préfèrent donc ces poèmes et interprètent à tort leur propre préférence comme une preuve de l'existence d'un auteur humain. Ce phénomène résulte en partie de différences réelles entre les poèmes générés par l'IA et les poèmes écrits par des humains, mais aussi d'un décalage entre les attentes des lecteurs et la réalité. Nos participants ne s'attendent pas à ce que l'IA soit capable de produire des poèmes qu'ils aiment au moins autant qu'ils aiment les poèmes écrits par des humains ; nos résultats suggèrent que cette attente est erronée.

Les modèles d'IA générative devenant à la fois plus performants et plus courants, il n'est pas certain que les attentes des gens ordinaires à l'égard de l'IA générative rattrapent la réalité de l'IA générative. Les heuristiques qui peuvent être utiles aux lecteurs pour un modèle génératif ou une génération de modèles génératifs peuvent ne pas s'appliquer à d'autres modèles. Les gens pouvaient distinguer de manière fiable la poésie de GPT-2 de la poésie écrite par des humains ; nos résultats montrent qu'ils ne peuvent pas distinguer la poésie de ChatGPT-3.5.

Compte tenu des difficultés rencontrées par les gens pour identifier les textes écrits par des machines et de leur confiance apparente dans le fait que l'IA ne produira pas d'imitations de l'expérience humaine, il peut être utile que les gouvernements adoptent des réglementations en matière de transparence dans l'utilisation des systèmes d'IA. La Maison Blanche et l'Union européenne ont récemment proposé des réglementations concernant la divulgation de l'utilisation des systèmes d'IA pour générer des textes et des images. Cependant, il est prouvé que les utilisateurs ignorent souvent ces informations, et il n'est donc pas clair dans quelle mesure ces réglementations peuvent être utiles. L'identification de méthodes de divulgation efficaces est une question difficile mais urgente.