L’université du Montana et ses partenaires ont mené une étude novatrice pour évaluer la créativité de l’intelligence artificielle ChatGPT, qui utilise le moteur GPT-4. Ils ont utilisé les Torrance Tests of Creative Thinking (TTCT), un test standard qui mesure la capacité à générer des idées nouvelles, nombreuses et variées. Ils ont comparé les réponses de ChatGPT à celles d’un groupe de contrôle d’étudiants de l’UM et à celles d’un échantillon national d’étudiants qui ont passé le test en 2016.Les réponses ont été notées par Scholastic Testing Service, qui ne savait pas que l’IA était impliquée. Les résultats ont révélé que ChatGPT se classait parmi les 1 % les plus créatifs pour la fluidité et l’originalité, et parmi les 3 % les plus créatifs pour la flexibilité. L’étude suggère que l’IA peut égaler ou dépasser la créativité humaine et que les outils d’évaluation de la créativité doivent être adaptés à cette nouvelle réalité.
L'étude a été dirigée par le Dr Erik Guzik, professeur adjoint de clinique au College of Business de l'université du Montana. Lui et ses partenaires ont utilisé les Torrance Tests of Creative Thinking, un outil bien connu utilisé depuis des décennies pour évaluer la créativité humaine.
Les chercheurs ont soumis huit réponses générées par ChatGPT, l'application alimentée par le moteur d'intelligence artificielle GPT-4. Ils ont également soumis les réponses d'un groupe de contrôle composé de 24 étudiants de l'UM qui suivent les cours de Guzik sur l'entrepreneuriat et les finances personnelles. Ces résultats ont été comparés à ceux de 2 700 étudiants du pays qui ont passé le TTCT en 2016. Toutes les soumissions ont été notées par Scholastic Testing Service, qui ignorait que l'IA était impliquée.
ChatGPT, l’application d’IA qui surpasse les étudiants en créativité
Les résultats ont placé ChatGPT dans l'élite de la créativité. L'application d'IA était dans le premier percentile pour la fluidité - la capacité à générer un grand nombre d'idées - et pour l'originalité - la capacité à trouver de nouvelles idées. L'application d'IA a légèrement reculé - jusqu'au 97e centile - pour la flexibilité, c'est-à-dire la capacité à générer différents types et catégories d'idées.
« Pour ChatGPT et GPT-4, nous avons montré pour la première fois que l'IA se situait dans les 1 % les plus performants en matière d'originalité », a déclaré Guzik. C'était une nouveauté. Il s'est réjoui de constater que certains de ses étudiants de l'UM ont également obtenu des résultats parmi les 1 % les plus élevés. Cependant, ChatGTP a obtenu de meilleurs résultats que la grande majorité des étudiants au niveau national.
Pour la flexibilité, c'est-à-dire la capacité à produire une variété d'idées et à passer d'une approche à l'autre, trois tests se sont classés dans les 1 % les plus élevés, deux dans les 2 % les plus élevés et les trois autres dans les 7 % les plus élevés.
« Le plus important est peut-être que les huit tests ont vu le GPT-4 se classer dans les 1 % les plus élevés pour l'originalité, la capacité à produire des réponses inhabituelles ou uniques qui défient les normes établies. Il s'agit de la première étude montrant qu'un outil quelconque d'IA est capable de générer des réponses originales qui égalent ou dépassent le seuil actuel des capacités créatives humaines », a déclaré le Dr Guzik.
L'équipe de recherche prévoit que chaque composante du processus entrepreneurial, et des affaires en général, sera affectée par l'IA au cours des cinq prochaines années - y compris l'identification d'opportunités uniques et de domaines problématiques importants, la génération d'idées de solutions nouvelles, l'amélioration des produits, l'élaboration de nouvelles stratégies de marketing, et l'imagination de scénarios et de résultats futurs.
« L'impact sur le lancement de nouvelles startups et de petites entreprises, qui sont d'importants générateurs d'activité économique et de croissance, sera significatif. La créativité exceptionnelle dont a fait preuve GPT-4 marque une nouvelle étape dans le brainstorming et l'élaboration de solutions par l'IA, qui pourrait révolutionner la manière dont les startups et les petites entreprises fonctionnent, innovent et restent compétitives. Les capacités créatives de l'IA pourraient considérablement aider les startups et les petites entreprises à faire face aux limitations de ressources habituelles, qui restreignent leur capacité à employer une équipe nombreuse ou à investir dans des études de marché approfondies. L'inventivité, l'adaptabilité et l'originalité démontrées par GPT-4 pourraient servir d'outil d'innovation indispensable pour les humains », a déclaré le Dr Guzik.
Guzik a testé l'IA et ses étudiants au cours du semestre de printemps. Il a été assisté dans ses travaux par Christian Gilde de l'UM Western et Christian Byrge de l'université de Vilnius. Les chercheurs ont présenté leurs travaux en mai à la Southern Oregon University Creativity Conference.
« Lors de la conférence, nous avons pris soin de ne pas trop interpréter les données, a déclaré Guzik. Nous nous sommes contentés de présenter les résultats. Mais nous avons partagé des preuves solides que l'IA semble développer une capacité créative égale, voire supérieure, à celle de l'homme. » Guzik explique qu'il a demandé à ChatGPT ce que cela signifierait si elle obtenait de bons résultats au TTCT. L'IA a donné une réponse solide, qu'elle a partagée lors de la conférence :
« ChatGPT nous a dit que nous ne comprenions peut-être pas entièrement la créativité humaine, ce qui est à mon avis exact », a-t-il déclaré. « Il a également suggéré que nous pourrions avoir besoin d'outils d'évaluation plus sophistiqués, capables de faire la différence entre les idées générées par l'homme et celles générées par l'intelligence artificielle. »
« L'introduction de ChatGPT crée de nouvelles opportunités dans presque tous les domaines et toutes les industries, mais surtout dans ceux qui dépendent de la créativité, ou de la capacité à générer des idées nouvelles et originales qui ont de la valeur », a déclaré le Dr Gilde. « Cette évolution oblige également la société à revoir certaines des questions les plus fondamentales sur la créativité, notamment la nature de la créativité humaine et la question de savoir si la créativité est une capacité qui sépare uniquement les êtres humains des machines. Dans l'ensemble, cela pourrait nous inciter à réévaluer la façon dont nous définissons, évaluons et développons la créativité dans l'éducation, les organisations et la société », a-t-il ajouté.
Un professeur de l’UM Western passionné par le sujet
Guzik s'intéresse depuis longtemps à la créativité. Lorsqu'il était élève de septième année dans la petite ville de Palmer, dans le Massachusetts, il a participé à un programme destiné aux élèves doués et talentueux. Cette expérience lui a permis de découvrir le processus de résolution des problèmes futurs mis au point par Ellis Paul Torrance, le psychologue pionnier qui a également créé le TTCT. Guzik dit être tombé amoureux du brainstorming à ce moment-là et de la façon dont il exploite l'imagination humaine, et il reste actif au sein de l'organisation Future Problem Solving - il a même rencontré sa femme lors de l'une de ses conférences.
Guzik et son équipe ont décidé de tester la créativité de ChatGPT après avoir joué avec au cours de l'année écoulée. « Nous avons tous exploré ChatGPT et nous avons remarqué qu'il faisait des choses intéressantes auxquelles nous ne nous attendions pas », explique-t-il. « Certaines réponses étaient nouvelles et surprenantes. C'est à ce moment-là que nous avons décidé de le mettre à l'épreuve pour voir à quel point il est créatif.
En conclusion, cette étude montre que l’intelligence artificielle ChatGPT, alimentée par le moteur GPT-4, peut rivaliser avec les 1 % de penseurs humains les plus doués lors d’un test standard de créativité, les Torrance Tests of Creative Thinking. Cette performance exceptionnelle témoigne du potentiel de l’IA pour générer des idées nouvelles, nombreuses et variées, qui peuvent avoir des applications dans de nombreux domaines, notamment l’entrepreneuriat et les affaires.
Cependant, cette étude soulève également des questions importantes sur la définition, la mesure et le développement de la créativité, tant pour les humains que pour les machines. Comment évaluer la pertinence, la qualité et la valeur des idées produites par l’IA ? Comment favoriser la collaboration et la complémentarité entre la créativité humaine et la créativité artificielle ? Comment préserver l’éthique, la responsabilité et l’humanité dans les processus créatifs impliquant l’IA ? Autant de défis qui appellent à poursuivre la recherche et le dialogue sur la créativité de l’IA.
Source : University of Montana Western
Et vous ?
Les résultats de ses travaux de recherche sont-ils pertinents ? Quels sont les avantages et les inconvénients du test TTCT pour évaluer la créativité de l’IA ? Avez-vous une expérience avec l'IA ChatGPT ? Est-il d'une quelconque utilité dans votre travail ? Selon vous, quels sont les risques et les opportunités de l’utilisation de l’IA ChatGPT pour générer des idées ? Quelles sont les limites et les perspectives de l’étude menée par l’équipe de recherche de l’université du Montana ?Voir aussi :
OpenAI sur l'impact économique du GPT-4: « 80% des travailleurs auront au moins 10% de leurs tâches touchées », l'entreprise affirme que ses produits vont automatiser une vaste gamme de tâches pros GPT-4 produirait des informations erronées, beaucoup plus que GPT-3.5, selon une étude de NewsGuard, OpenAI avait pourtant déclaré le contraire Stack Overflow est la victime de ChatGPT avec Baisse du trafic de 14 %, alors que ChatGPT a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril