Une équipe de chercheurs américains et lituaniens vient de publier une étude selon laquelle ChatGPT peut rivaliser avec les capacités créatives des 1 % de participants humains les plus performants à un test standard de créativité. L'équipe a soumis ChatGPT au Torrance Tests of Creative Thinking (TTCT), un test de créativité souvent utilisé, et ont enregistré huit réponses. Elle a également recueilli les réponses de 24 étudiants de l'université du Montana. Ces résultats ont été comparés à ceux de 2 700 étudiants du pays qui ont passé les TTCT. Les chercheurs ont constaté que ChatGPT figurait parmi l'élite en matière de créativité. L'étude fait toutefois l'objet de controverses.L'étude a été dirigée par le Dr Erik Guzik, professeur adjoint de clinique au College of Business de l'université du Montana. Lui et ses partenaires ont utilisé les tests de créativité de Torrance (Torrance Tests of Creative Thinking - TTCT), un outil bien connu utilisé depuis des décennies pour évaluer la créativité humaine. Les chercheurs ont recueilli les réponses de ChatGPT et GPT-4, ainsi que les réponses d'un groupe de contrôle composé de 24 étudiants de l'université du Montana qui suivent les cours de Guzik sur l'entrepreneuriat et les finances personnelles. L'équipe affirme que les résultats ont révélé des détails étonnants sur le niveau de "créativité" de l'IA.
Les réponses de ChatGPT, de GPT-4 et des 28 étudiants ont été comparées à celles de 2 700 étudiants du pays qui ont passé les TTCT en 2016. Toutes les soumissions ont été notées par Scholastic Testing Service, un service d'évaluations pédagogiques à Earth City, basé dans le Missouri, aux États-Unis. Selon les chercheurs, l'entreprise ignorait que l'IA a participé aux tests. Les résultats ont placé ChatGPT dans l'élite de la créativité. Selon les chercheurs, les réponses de l'IA étaient aussi créatives que celles des personnes réelles les plus créatives qui ont passé le test. En fait, le chatbot d'IA d'OpenAI aurait surpassé la majorité des étudiants au niveau national.
Les TTCT comportent deux évaluations différentes : l'une verbale et l'autre figurative. Toutes deux mesurent la pensée divergente, c'est-à-dire le processus de réflexion utilisé pour générer des idées créatives. Dans l'évaluation verbale, les participants au test reçoivent des images et/ou des messages verbaux et sont invités à répondre par écrit. Par exemple, on peut leur montrer l'image d'un événement et leur demander d'émettre une hypothèse sur le résultat. Ou encore, on leur montre un produit et on leur demande de trouver des moyens de l'améliorer. Leurs réponses sont ensuite utilisées pour évaluer les trois caractéristiques mentales suivantes :
- la fluidité : le nombre d'idées pertinentes ;
- l'originalité : le caractère inhabituel des idées ;
- la flexibilité : la variété des différents types d'idées.
Le test figuratif exige quant à lui que le candidat dessine ses réponses. Par exemple, il peut lui être demandé de compléter une image. Outre la fluidité et l'originalité, le test figuratif évalue les compétences suivantes :
- l'élaboration : l'ajout d'idées au-delà du minimum requis ;
- la résistance à la fermeture prématurée : la capacité d'une personne à tolérer l'ambiguïté suffisamment pour trouver une réponse créative ;
- l'abstraction des titres : la capacité à donner un titre créatif à une figure.
ChatGPT était dans le premier percentile pour la fluidité (la capacité à générer un grand nombre d'idées) et pour l'originalité (la capacité à trouver de nouvelles idées). Le chatbot d'IA a légèrement reculé - jusqu'au 97e centile - pour la flexibilité, c'est-à-dire la capacité à générer différents types et catégories d'idées. « Pour ChatGPT et GPT-4, nous avons montré pour la première fois qu'elle se situait dans le top 1 % pour l'originalité. C'était une nouveauté », a déclaré Guzik. Le professeur s'est dit réjoui de constater que certains de ses étudiants de l'université du Montana ont également obtenu des résultats qui leur permis d'être classés dans le top 1 %.
« Nous avons tous exploré ChatGPT et nous avons remarqué qu'il faisait des choses intéressantes auxquelles nous ne nous attendions pas. Certaines réponses étaient nouvelles et surprenantes. C'est à ce moment-là que nous avons décidé de le mettre à l'épreuve pour voir à quel point il était créatif », explique Guzik. Le professeur ne veut pas surestimer l'impact que ChatGPT pourrait avoir sur l'économie, mais il pense qu'il deviendra un moteur de l'innovation. Guzik a testé l'IA et ses étudiants au cours du semestre de printemps. Il a été assisté dans ses travaux par Christian Gilde de l'université du Montana Western et Christian Byrge de l'université de Vilnius.
Les chercheurs ont présenté leurs travaux en mai à la Southern Oregon University Creativity Conference. « Lors de la conférence, nous avons pris soin de ne pas trop interpréter les données. Nous nous sommes contentés de présenter les résultats. Cependant, nous avons partagé des preuves solides que l'IA semble développer une capacité créative égale, voire supérieure, à celle de l'homme », a déclaré Guzik. Des sceptiques affirment toutefois que l'IA ne peut pas créer quelque chose d'original, car elle ne fait que régurgiter le contenu de sa base de données d'entraînement. Ils rappellent que les TTCT sont conçus pour évaluer la créativité des enfants.
Cependant, même si les TTCT étaient conçus pour évaluer la créativité des enfants, l'article dit que les performances de ChatGPT ont été comparées à celles d'étudiants et non à celles d'enfants. D'autres critiques ont remis en cause la notion de "créativité" telle qu'elle est définie par l'équipe de Guzik. (Les domaines de recherche d'Erik Guzik comprennent l'entrepreneuriat et l'aspect économique de la créativité.) Mais Guzik explique qu'il a demandé à ChatGPT ce que cela signifierait si elle obtenait de bons résultats au TTCT. Selon le professeur, le chatbot d'IA d'OpenAI a donné une réponse "forte". Guzik a partagé cette réponse lors de la conférence.
« ChatGPT nous a dit que nous ne comprenions peut-être pas entièrement la créativité humaine, ce qui est à mon avis exact. ChatGPT a également suggéré que nous pourrions avoir besoin d'outils d'évaluation plus sophistiqués, capables de différencier les idées générées par l'homme de celles générées par l'IA », a déclaré Guzik. Il estime que les TTCT sont un matériel propriétaire protégé, de sorte que ChatGPT ne pourrait pas "tricher" en accédant à des informations sur le test sur Internet ou dans une base de données publique. Guzik a expliqué que le TTCT utilise des questions qui imitent les tâches créatives de la vie réelle.
Les résultats de l'étude contrastent avec les déclarations selon lesquelles les outils d'IA actuels ne sont pas intelligents. Par exemple, en juin, Yann LeCun, responsable de l'IA chez Meta, a déclaré que les systèmes d'IA actuels tels que ChatGPT sont à peine plus intelligents qu'un chien. Le chercheur en IA estime que les systèmes d'IA actuels sont très limités, mais n'ont également aucune compréhension de la réalité sous-jacente du monde réel. LeCun affirme que les systèmes d'IA sont incapables d'apprendre des tâches élémentaires telles que le déchargement d'un lave-vaisselle. LeCun est considéré comme l'un des pères de l'apprentissage profond.
Guzik a déclaré qu'il s'attendait à ce que ChatGPT soit capable de générer beaucoup d'idées (fluidité), car c'est ce que fait l'IA générative. Et il a excellé en répondant à l'invitation par de nombreuses idées pertinentes, utiles et précieuses aux yeux des évaluateurs. Il s'est également dit surpris par la capacité de ChatGPT à générer des idées originales, ce qui est une caractéristique de l'imagination humaine. « Lors de la conférence, nous avons appris que des recherches avaient été menées sur GPT-3 il y a un an. À l'époque, ChatGPT n'obtenait pas d'aussi bons résultats que les humains dans les tâches impliquant une réflexion originale », explique Guzik.
« Aujourd'hui, avec GPT-4, il se situe dans le top 1 % de toutes les réponses humaines », a-t-il ajouté. Avec l'accélération des progrès de l'IA, Guzik s'attend à ce que l'IA devienne un outil important pour le monde des affaires à l'avenir. « Pour moi, la créativité consiste à faire les choses différemment. L'une des définitions de l'esprit d'entreprise que j'aime est qu'être entrepreneur, c'est penser différemment. L'IA peut donc nous aider à appliquer le monde de la pensée créative à l'entreprise et au processus d'innovation, ce qui me fascine », a déclaré Guzik. Il a ajouté qu'il est important d'être prudent lors de l'intégration de l'IA dans les processus.
« Je pense que nous savons que l'avenir inclura l'IA d'une manière ou d'une autre. Nous devons être prudents quant à son utilisation et tenir compte des règles et réglementations nécessaires. Mais les entreprises l'utilisent déjà pour de nombreuses tâches créatives. En matière d'entrepreneuriat et d'innovation régionale, cela change la donne », a déclaré Guzik.
Source : rapport de l'étude
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des résultats de l'étude ? Selon vous, l'IA générative peut-elle faire preuve d'originalité ?Voir aussi
Les craintes liées à l'IA sont-elles exagérées ? Un physicien théoricien qualifie les chatbots de "magnétophones glorifiés" Le responsable de l'IA chez Meta affirme que l'intelligence artificielle n'est pas encore aussi intelligente qu'un chien, et rejette l'idée selon laquelle les robots allaient s'emparer du monde L'informatique quantique va-t-elle renforcer l'IA et transformer notre compréhension de la réalité ? Elle pourrait donner à l'IA le carburant dont elle a besoin pour se transformer