
à son examen portant sur l'économie
Un professeur d'économie a déclaré que les progrès réalisés par ChatGPT (il a amélioré son score de D à A lors de son test d'économie en seulement trois mois) l'ont stupéfait. Bryan Caplan, professeur d'économie à l'Université George Mason, a déclaré que la dernière version de ChatGPT pourrait désormais être responsable du premier gros pari qu'il ait jamais perdu.
ChatGPT-3.5 n'a pas compris la théorie de base
Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.
C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.
Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.

Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.
Puis vient GPT-4
Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).
Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.
Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.

Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.
« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.
Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.
Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.
Difficile à tester
Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.
Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.
Source : Billets de Caplan (1, 2)
Et vous ?



Vous avez lu gratuitement 3 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.