L'intelligence artificielle (IA) a officiellement réussi le test de Turing des mèmes, les grands modèles de langage peuvent désormais générer des mèmes jugés plus drôles que ceux créés par un humain moyen

Une nouvelle étude suggère que l'intelligence artificielle (IA) a officiellement réussi le test de Turing des mèmes. Les grands modèles de langage seraient donc désormais capables de générer des mèmes jugés plus drôles que ceux créés par un être humain moyen.

Cette découverte fait suite à une précédente affirmation de chercheurs selon laquelle GPT-4 a réussi le test de Turing, un critère permettant de distinguer les machines des humains. Lors de l'expérience visant à reproduire le test, les scientifiques ont constaté que les participants considéraient GPT-4 comme un humain dans 54 % des cas.

La nouvelle étude, quant à elle, s'est attachée à examiner le rôle des LLM en tant que créateurs de contenu humoristique, et notamment de mèmes sur Internet. Ethan Mollick, professeur à la Wharton School de l'université de Pennsylvanie, a publié un message sur X, déclarant : « J'ai le regret d'annoncer que le test de Turing des mèmes a été réussi ».

« Les LLM produisent des mèmes plus drôles que l'humain moyen, tel que jugé par les humains », a-t-il déclaré, ajoutant que « les humains travaillant avec l'IA ne bénéficient d'aucun avantage... Cependant, les meilleurs créateurs de mèmes humains battent toujours l'IA ».

I regret to announce that the meme Turing Test has been passed.

LLMs produce funnier memes than the average human, as judged by humans. Humans working with AI get no boost (a finding that is coming up often in AI-creativity work) The best human memers still beat AI, however. pic.twitter.com/O0sl5GRQNd

— Ethan Mollick (@emollick) March 17, 2025

Ethan Mollick a fait référence à un article de recherche intitulé "One Does Not Simply Meme Alone : Evaluating Co-Creativity Between LLMs and Humans in the Generation of Humor", rédigé par Zhikun Wu, Thomas Weber et Florian Müller.

L'étude a exploré la manière dont les humains et l'IA collaborent pour générer des mèmes, en comparant les résultats de trois groupes : humain seul, collaboration humain-AI et IA seule.

À l'aide de modèles de mèmes et de sujets prédéfinis tels que le travail, la nourriture et le sport, les participants ont généré des légendes au cours d'une phase d'idéation chronométrée. Les mèmes générés par l'IA, entièrement créés par GPT-4, ont ensuite été évalués par rapport à ceux des autres groupes sur la base de l'humour, de la créativité et de la possibilité de les partager.


Les résultats ont montré que les mèmes créés uniquement par l'IA étaient systématiquement mieux notés que les mèmes créés par l'homme dans toutes les catégories. Si les collaborations entre l'homme et l'IA ont produit plus d'idées, la qualité ne s'est pas améliorée de manière significative.

Il est à noter que les meilleurs mèmes créés par l'homme surpassent encore l'IA dans le domaine de l'humour.

Ces résultats soulignent la capacité croissante de l'IA à reproduire, voire à surpasser, certains aspects de la créativité humaine, en particulier dans les contenus culturels et humoristiques tels que les mèmes.

Toutefois, si l'IA stimule la productivité et réduit la charge de travail créatif, elle n'améliore pas toujours la qualité lorsqu'elle est associée à des êtres humains.


Le résumé et la conclusion de l'étude scientifique sont présentés ci-dessous :

[QUOTE]
Il a été démontré que la collaboration renforce la créativité et permet d'obtenir des résultats plus innovants et plus efficaces. Alors que des recherches antérieures ont exploré les capacités des grands modèles de langage (LLM) à servir de partenaires de co-création dans des tâches telles que l'écriture de poèmes ou la création de récits, le potentiel de collaboration des LLM dans des domaines riches en humour et culturellement nuancés reste une question ouverte. Pour combler cette lacune, nous avons mené une étude sur les utilisateurs afin d'explorer le potentiel des LLM dans la cocréation de mèmes, une forme d'expression créative axée sur l'humour et culturellement spécifique.

Nous avons mené une étude auprès de trois groupes de 50 participants chacun : un groupe composé uniquement d'humains créant des mèmes sans assistance de l'IA, un groupe collaborant avec l'IA et interagissant avec un LLM de pointe, et un groupe composé uniquement d'IA dans lequel le LLM générait des mèmes de manière autonome. Nous avons évalué la qualité des mèmes générés par le biais du crowdsourcing, chaque mème étant évalué en fonction de sa créativité, de son humour et de sa capacité à être partagé.

Nos résultats ont montré que l'assistance LLM augmentait le nombre d'idées générées et réduisait l'effort ressenti par les participants. Cependant, elle n'a pas amélioré la qualité des mèmes lorsque des humains ont collaboré avec le LLM. Il est intéressant de noter que les mèmes créés entièrement par l'IA sont plus performants que les mèmes créés uniquement par les humains et les mèmes créés en collaboration avec l'IA dans tous les domaines en moyenne.

Toutefois, si l'on considère les mèmes les plus performants, ceux créés par des humains étaient meilleurs en termes d'humour, tandis que les collaborations entre humains et IA se distinguaient par leur créativité et leur capacité à être partagés. Ces résultats mettent en évidence la complexité de la collaboration entre l'homme et l'IA dans les tâches créatives. Si l'IA peut stimuler la productivité et créer des contenus qui attirent un large public, la créativité humaine reste cruciale pour les contenus qui établissent un lien à un niveau plus profond.

Conclusion

Dans cet article, nous avons examiné le rôle des LLM en tant que co-créateurs dans la génération de contenu humoristique, en nous concentrant sur la création de mèmes Internet. Nos résultats ont démontré que les participants qui collaboraient avec un assistant LLM produisaient un nombre significativement plus élevé d'idées, ce qui est assez surprenant pour les raisons suivantes : le LLM utilisé a été formé sur de grands ensembles de données contenant de nombreuses références culturelles et différents types d'humour. Au cours du processus de formation, le LLM était plus susceptible d'apprendre les types d'humour qu'il voyait le plus souvent au cours du processus de formation, c'est-à-dire ceux qui résonnaient le mieux avec la foule. Par conséquent, ces LLM sont capables de créer des contenus qui plaisent à un large public. L'IA perçoit les tendances générales dans ses données d'apprentissage, ce qui l'aide à produire un contenu que la plupart des gens trouvent attrayant. En revanche, le contenu créé par l'homme a tendance à s'inspirer d'expériences personnelles et de contextes culturels spécifiques. L'attrait général des mèmes générés par l'IA peut toutefois être influencé par la composition des évaluateurs. Les participants à l'étude en ligne, ainsi que ceux qui ont évalué les mèmes, étaient des utilisateurs aléatoires issus d'une plateforme de crowdsourcing. Bien que cette approche apporte une variété de perspectives, elle pourrait ne pas saisir les différences subtiles dans l'appréciation de l'humour au sein de groupes démographiques spécifiques. L'humour est personnel et influencé par des facteurs tels que les expériences de vie, le contexte culturel et les normes sociales. Par conséquent, pour comprendre ces subtilités, il faudrait probablement procéder à une évaluation plus ciblée sur des segments spécifiques du public, ce qui permettrait de mieux comprendre la manière dont les différents groupes perçoivent l'humour. Même lorsque les gens travaillent avec l'IA, ils s'appuient souvent sur leurs propres expériences lorsqu'ils choisissent des idées, ce qui crée un défi similaire. Il est difficile de rivaliser avec la capacité de l'IA à répondre aux goûts populaires.

Cette interprétation est étayée par l'analyse des mèmes les plus performants (figure 1). Les mèmes les plus drôles ont été principalement créés par des humains, tandis que ceux qui ont obtenu les meilleures notes en termes de créativité et de partage sont le fruit d'une collaboration entre l'homme et l'IA. Parmi les quatre mèmes humoristiques les plus performants, les créateurs humains occupent la plupart des premières places. En termes de créativité, les humains occupent toujours la moitié des places, le reste...