Un professeur d'économie a déclaré que les progrès réalisés par ChatGPT (il a amélioré son score de D à A lors de son test d'économie en seulement trois mois) l'ont stupéfait. Bryan Caplan, professeur d'économie à l'Université George Mason, a déclaré que la dernière version de ChatGPT pourrait désormais être responsable du premier gros pari qu'il ait jamais perdu.ChatGPT-3.5 n'a pas compris la théorie de base
Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.
C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.
Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.
Envoyé par Caplan
Beaucoup, peut-être la plupart, de mes amis sont abasourdis par ChatGPT. Ma boîte de réception est pleine d'e-mails de Tyler Cowen vantant ses gloires. Plus concrètement, Alex Tabarrok m'a récemment assuré que les IA existantes pouvaient déjà battre les performances de la plupart de nos étudiants en économie dans notre matière bien-aimée. Bien que j'aie été sur la route presque tout le mois dernier, j'ai juré de mettre ces affirmations à l'épreuve à mon retour.
Ma prédiction de décembre : l'IA gagnerait un C-, ce que je donne normalement aux étudiants qui répètent des slogans pertinents, mais montrent peu de compréhension réelle du matériel.
Pour lancer le bal, j'ai décidé de donner à ChatGPT mon examen semestriel 2022 en économie du travail. Bien que la notation ne soit pas en double aveugle, j'avais déjà un corrigé et une courbe.
Résultat : Si ChatGPT avait été un étudiant régulier, il aurait gagné 31/100. C'est un D. Encore pire que ce à quoi je m'attendais.
Le logiciel n'est-il pas incroyable quand même ? Juste un peu. Ce qui m'impressionne le plus à propos de ChatGPT, c'est sa polyvalence. La plupart des humains esquivent la plupart des questions. Le logiciel essaie de faire face à presque toutes les invites que vous lui donnez.
Vous pourriez objecter*: "Qui se soucie si ChatGPT obtient un D à mi-parcours*?" Je m'inquiète. Au minimum, cela montre, contrairement à Alex Tabarrok, que l'IA n'est pas encore aussi bonne en économie que la plupart de nos étudiants. Pour moi personnellement, cela renforce également ma suspicion que les passionnés d'IA choisissent la meilleure sortie d'IA. (J'ai eu la même expérience avec DALL-E: malgré le battage médiatique de Gushing, il n'a absolument pas réussi à dessiner même de simples panneaux de mon prochain roman graphique).
Si vous ne me faites pas confiance, vous pouvez objecter que je suis biaisé contre l'IA. Assez juste. Pourtant, de mon point de vue à la première personne, noter ChatGPT sur le même test que j'ai récemment donné à mes étudiants est plus fiable et informatif que tous les messages de fans que j'ai vus. ChatGPT fait un excellent travail d'imitation d'un étudiant en économie GMU très faible.
Ma prédiction de décembre : l'IA gagnerait un C-, ce que je donne normalement aux étudiants qui répètent des slogans pertinents, mais montrent peu de compréhension réelle du matériel.
Pour lancer le bal, j'ai décidé de donner à ChatGPT mon examen semestriel 2022 en économie du travail. Bien que la notation ne soit pas en double aveugle, j'avais déjà un corrigé et une courbe.
Résultat : Si ChatGPT avait été un étudiant régulier, il aurait gagné 31/100. C'est un D. Encore pire que ce à quoi je m'attendais.
Le logiciel n'est-il pas incroyable quand même ? Juste un peu. Ce qui m'impressionne le plus à propos de ChatGPT, c'est sa polyvalence. La plupart des humains esquivent la plupart des questions. Le logiciel essaie de faire face à presque toutes les invites que vous lui donnez.
Vous pourriez objecter*: "Qui se soucie si ChatGPT obtient un D à mi-parcours*?" Je m'inquiète. Au minimum, cela montre, contrairement à Alex Tabarrok, que l'IA n'est pas encore aussi bonne en économie que la plupart de nos étudiants. Pour moi personnellement, cela renforce également ma suspicion que les passionnés d'IA choisissent la meilleure sortie d'IA. (J'ai eu la même expérience avec DALL-E: malgré le battage médiatique de Gushing, il n'a absolument pas réussi à dessiner même de simples panneaux de mon prochain roman graphique).
Si vous ne me faites pas confiance, vous pouvez objecter que je suis biaisé contre l'IA. Assez juste. Pourtant, de mon point de vue à la première personne, noter ChatGPT sur le même test que j'ai récemment donné à mes étudiants est plus fiable et informatif que tous les messages de fans que j'ai vus. ChatGPT fait un excellent travail d'imitation d'un étudiant en économie GMU très faible.
Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.
Puis vient GPT-4
Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).
Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.
Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.
Envoyé par Caplan
ChatGPT a obtenu de mauvais résultats lors de mon examen semestriel d'automne 2022 en économie du travail. Un D, pour être précis. La performance était si médiocre par rapport au battage médiatique que j'ai publiquement parié à Matthew Barnett qu'aucune IA ne serait en mesure d'obtenir des A à 5 de mes examens sur 6 d'ici janvier 2029. Trois mois se sont écoulés depuis lors. GPT-4 a été publié. Collin Gray, un lecteur de Bet on It, m'a proposé d'utiliser GPT-4 pour refaire le même test.
À ma grande surprise et sans grande consternation, GPT-4 a obtenu un A. Il a obtenu 73/100, ce qui aurait été le quatrième score le plus élevé au test. L'explication la plus naturelle à mon avis était que mon article de blog a été intégré aux nouvelles données d'entraînement, mais plusieurs amis bien informés m'assurent qu'il n'y a pas de nouvelles données d'entraînement.
Je n'aurais pas été surpris par un C cette année, un B dans trois ans et un mix 50/50 A/B d'ici 2029. Déjà un A ? Les taux de base m'ont clairement fait défaut. Je ne concède pas le pari, car je pense toujours qu'il y a 10 à 15% de chances que je gagne par chance. (Et dans tous les cas, une forte inflation continue d'éroder la valeur réelle du remboursement).
Mais ne vous y trompez pas, ce logiciel est vraiment l'exception qui confirme la règle. (Cela augmente également fortement mes chances que la prochaine version de DALL-E puisse illustrer mon troisième roman graphique, ce qui serait une grande bénédiction).
À ma grande surprise et sans grande consternation, GPT-4 a obtenu un A. Il a obtenu 73/100, ce qui aurait été le quatrième score le plus élevé au test. L'explication la plus naturelle à mon avis était que mon article de blog a été intégré aux nouvelles données d'entraînement, mais plusieurs amis bien informés m'assurent qu'il n'y a pas de nouvelles données d'entraînement.
Je n'aurais pas été surpris par un C cette année, un B dans trois ans et un mix 50/50 A/B d'ici 2029. Déjà un A ? Les taux de base m'ont clairement fait défaut. Je ne concède pas le pari, car je pense toujours qu'il y a 10 à 15% de chances que je gagne par chance. (Et dans tous les cas, une forte inflation continue d'éroder la valeur réelle du remboursement).
Mais ne vous y trompez pas, ce logiciel est vraiment l'exception qui confirme la règle. (Cela augmente également fortement mes chances que la prochaine version de DALL-E puisse illustrer mon troisième roman graphique, ce qui serait une grande bénédiction).
Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.
« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.
Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.
Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.
Difficile à tester
Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.
Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.
Source : Billets de Caplan (1, 2)
Et vous ?
Quelle lecture faites-vous de cette situation ? Est-ce pertinent de refaire le même test selon vous ? Pourquoi ? Qu'est-ce qui pourrait expliquer la différence dans la note obtenue par ChatGPT sur le même exercice ? Trouvez-vous des différences notables entre ChatGPT-4 et son prédécesseur ? 
