Une étude rapporte que les performances de ChatGPT le classent parmi les 1 % de personnes les plus créatives au monde,

Mais des critiques affirment que l'IA ne peut pas faire preuve d'originalité

Une équipe de chercheurs américains et lituaniens vient de publier une étude selon laquelle ChatGPT peut rivaliser avec les capacités créatives des 1 % de participants humains les plus performants à un test standard de créativité. L'équipe a soumis ChatGPT au Torrance Tests of Creative Thinking (TTCT), un test de créativité souvent utilisé, et ont enregistré huit réponses. Elle a également recueilli les réponses de 24 étudiants de l'université du Montana. Ces résultats ont été comparés à ceux de 2 700 étudiants du pays qui ont passé les TTCT. Les chercheurs ont constaté que ChatGPT figurait parmi l'élite en matière de créativité. L'étude fait toutefois l'objet de controverses.

L'étude a été dirigée par le Dr Erik Guzik, professeur adjoint de clinique au College of Business de l'université du Montana. Lui et ses partenaires ont utilisé les tests de créativité de Torrance (Torrance Tests of Creative Thinking - TTCT), un outil bien connu utilisé depuis des décennies pour évaluer la créativité humaine. Les chercheurs ont recueilli les réponses de ChatGPT et GPT-4, ainsi que les réponses d'un groupe de contrôle composé de 24 étudiants de l'université du Montana qui suivent les cours de Guzik sur l'entrepreneuriat et les finances personnelles. L'équipe affirme que les résultats ont révélé des détails étonnants sur le niveau de "créativité" de l'IA.

Les réponses de ChatGPT, de GPT-4 et des 28 étudiants ont été comparées à celles de 2 700 étudiants du pays qui ont passé les TTCT en 2016. Toutes les soumissions ont été notées par Scholastic Testing Service, un service d'évaluations pédagogiques à Earth City, basé dans le Missouri, aux États-Unis. Selon les chercheurs, l'entreprise ignorait que l'IA a participé aux tests. Les résultats ont placé ChatGPT dans l'élite de la créativité. Selon les chercheurs, les réponses de l'IA étaient aussi créatives que celles des personnes réelles les plus créatives qui ont passé le test. En fait, le chatbot d'IA d'OpenAI aurait surpassé la majorité des étudiants au niveau national.


Les TTCT comportent deux évaluations différentes : l'une verbale et l'autre figurative. Toutes deux mesurent la pensée divergente, c'est-à-dire le processus de réflexion utilisé pour générer des idées créatives. Dans l'évaluation verbale, les participants au test reçoivent des images et/ou des messages verbaux et sont invités à répondre par écrit. Par exemple, on peut leur montrer l'image d'un événement et leur demander d'émettre une hypothèse sur le résultat. Ou encore, on leur montre un produit et on leur demande de trouver des moyens de l'améliorer. Leurs réponses sont ensuite utilisées pour évaluer les trois caractéristiques mentales suivantes :

• la fluidité : le nombre d'idées pertinentes ;
• l'originalité : le caractère inhabituel des idées ;
• la flexibilité : la variété des différents types d'idées.

Le test figuratif exige quant à lui que le candidat dessine ses réponses. Par exemple, il peut lui être demandé de compléter une image. Outre la fluidité et l'originalité, le test figuratif évalue les compétences suivantes :

• l'élaboration : l'ajout d'idées au-delà du minimum requis ;
• la résistance à la fermeture prématurée : la capacité d'une personne à tolérer l'ambiguïté suffisamment pour trouver une réponse créative ;
• l'abstraction des titres : la capacité à donner un titre créatif à une figure.

ChatGPT était dans le premier percentile pour la fluidité (la capacité à générer un grand nombre d'idées) et pour l'originalité (la capacité à trouver de nouvelles idées). Le chatbot d'IA a légèrement reculé - jusqu'au 97e centile - pour la flexibilité, c'est-à-dire la capacité à générer différents types et catégories d'idées. « Pour ChatGPT et GPT-4, nous avons montré pour la première fois qu'elle se situait dans le top 1 % pour l'originalité. C'était une nouveauté », a déclaré Guzik. Le professeur s'est dit réjoui de constater que certains de ses étudiants de l'université du Montana ont...