IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un professeur avoue être stupéfait que ChatGPT soit passé d'une note D à un A en seulement 3 mois à son examen d'économie.
« Ce logiciel est une exception qui confirme la règle »,estime-t-il

Le , par Stéphane le calme

2PARTAGES

9  1 
Un professeur d'économie a déclaré que les progrès réalisés par ChatGPT (il a amélioré son score de D à A lors de son test d'économie en seulement trois mois) l'ont stupéfait. Bryan Caplan, professeur d'économie à l'Université George Mason, a déclaré que la dernière version de ChatGPT pourrait désormais être responsable du premier gros pari qu'il ait jamais perdu.

ChatGPT-3.5 n'a pas compris la théorie de base

Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.

C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.


Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.

Citation Envoyé par Caplan
Beaucoup, peut-être la plupart, de mes amis sont abasourdis par ChatGPT. Ma boîte de réception est pleine d'e-mails de Tyler Cowen vantant ses gloires. Plus concrètement, Alex Tabarrok m'a récemment assuré que les IA existantes pouvaient déjà battre les performances de la plupart de nos étudiants en économie dans notre matière bien-aimée. Bien que j'aie été sur la route presque tout le mois dernier, j'ai juré de mettre ces affirmations à l'épreuve à mon retour.

Ma prédiction de décembre : l'IA gagnerait un C-, ce que je donne normalement aux étudiants qui répètent des slogans pertinents, mais montrent peu de compréhension réelle du matériel.

Pour lancer le bal, j'ai décidé de donner à ChatGPT mon examen semestriel 2022 en économie du travail. Bien que la notation ne soit pas en double aveugle, j'avais déjà un corrigé et une courbe.

Résultat : Si ChatGPT avait été un étudiant régulier, il aurait gagné 31/100. C'est un D. Encore pire que ce à quoi je m'attendais.

Le logiciel n'est-il pas incroyable quand même ? Juste un peu. Ce qui m'impressionne le plus à propos de ChatGPT, c'est sa polyvalence. La plupart des humains esquivent la plupart des questions. Le logiciel essaie de faire face à presque toutes les invites que vous lui donnez.

Vous pourriez objecter*: "Qui se soucie si ChatGPT obtient un D à mi-parcours*?" Je m'inquiète. Au minimum, cela montre, contrairement à Alex Tabarrok, que l'IA n'est pas encore aussi bonne en économie que la plupart de nos étudiants. Pour moi personnellement, cela renforce également ma suspicion que les passionnés d'IA choisissent la meilleure sortie d'IA. (J'ai eu la même expérience avec DALL-E: malgré le battage médiatique de Gushing, il n'a absolument pas réussi à dessiner même de simples panneaux de mon prochain roman graphique).

Si vous ne me faites pas confiance, vous pouvez objecter que je suis biaisé contre l'IA. Assez juste. Pourtant, de mon point de vue à la première personne, noter ChatGPT sur le même test que j'ai récemment donné à mes étudiants est plus fiable et informatif que tous les messages de fans que j'ai vus. ChatGPT fait un excellent travail d'imitation d'un étudiant en économie GMU très faible.

Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.

Puis vient GPT-4

Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).

Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.

Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.

Citation Envoyé par Caplan
ChatGPT a obtenu de mauvais résultats lors de mon examen semestriel d'automne 2022 en économie du travail. Un D, pour être précis. La performance était si médiocre par rapport au battage médiatique que j'ai publiquement parié à Matthew Barnett qu'aucune IA ne serait en mesure d'obtenir des A à 5 de mes examens sur 6 d'ici janvier 2029. Trois mois se sont écoulés depuis lors. GPT-4 a été publié. Collin Gray, un lecteur de Bet on It, m'a proposé d'utiliser GPT-4 pour refaire le même test.

À ma grande surprise et sans grande consternation, GPT-4 a obtenu un A. Il a obtenu 73/100, ce qui aurait été le quatrième score le plus élevé au test. L'explication la plus naturelle à mon avis était que mon article de blog a été intégré aux nouvelles données d'entraînement, mais plusieurs amis bien informés m'assurent qu'il n'y a pas de nouvelles données d'entraînement.

Je n'aurais pas été surpris par un C cette année, un B dans trois ans et un mix 50/50 A/B d'ici 2029. Déjà un A ? Les taux de base m'ont clairement fait défaut. Je ne concède pas le pari, car je pense toujours qu'il y a 10 à 15% de chances que je gagne par chance. (Et dans tous les cas, une forte inflation continue d'éroder la valeur réelle du remboursement).

Mais ne vous y trompez pas, ce logiciel est vraiment l'exception qui confirme la règle. (Cela augmente également fortement mes chances que la prochaine version de DALL-E puisse illustrer mon troisième roman graphique, ce qui serait une grande bénédiction).
La mise à niveau payante de ChatGPT visait à résoudre certains des premiers problèmes de la version bêta, GPT-3.5. Cela impliquait prétendument de rendre ChatGPT 40% plus susceptible de renvoyer des réponses précises, ainsi que de le rendre capable de gérer des instructions plus nuancées.

Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.

« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.

Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.

Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.

Difficile à tester

Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.

Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.

Source : Billets de Caplan (1, 2)

Et vous ?

Quelle lecture faites-vous de cette situation ? Est-ce pertinent de refaire le même test selon vous ? Pourquoi ?
Qu'est-ce qui pourrait expliquer la différence dans la note obtenue par ChatGPT sur le même exercice ?
Trouvez-vous des différences notables entre ChatGPT-4 et son prédécesseur ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de walfrat
Membre émérite https://www.developpez.com
Le 07/04/2023 à 9:55
"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".
8  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 28/03/2023 à 20:49
Citation Envoyé par Bill Fassinou Voir le message
Pensez-vous que ces nouveaux chatbots d'IA sont des outils utiles ou plutôt des gadgets inutiles, voire nuisibles ?
Si les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.

On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gens
7  0 
Avatar de totozor
Membre émérite https://www.developpez.com
Le 11/04/2023 à 16:19
Citation Envoyé par HaryRoseAndMac Voir le message
Une mentalité d'extrême gauche qui préfère favoriser des envahisseurs et tout ceux qui ne sont pas Français, plutôt que leur propre famille, parce que dans un cycle d'autodestruction, presque sadique.
La France a une réelle capacité à générer des génies, de part la langue Française qui force le raisonnement et par la qualité de ses grandes écoles.
Hahaha, ton obsession pour l'extrême gauche et de lui refiler tous les maux de la France me font rire. Je veux bien comprendre qu'une partie de leurs représentants ne sont pas beaucoup plus malin qu'un mollusque mais je crois que la France est bien loin d'avoir un communisme si fort en son sein.
Quant à nos grandes écoles, de ceux que j'en ai vu sortir, elles sont justement la source la plus intarrissable de personnes " hautaine, sûr de soit, prête à mettre des dislike à tout vas sans essayer de comprendre réellement les propos et se remettre en question".
Chez nous on a un adjectif pour ces gens là : les "parisiens". Ils sont faciles à reconnaitre : ils arrivent à un poste à responsabilité, ils remettent tout en question dans leur environnement et expliquent aux autres comment bien faire leur travail (sans le connaitre). On les traite d'une façon simple : On les ignore, quand leur chef en a ras le cul d'eux, il l'envoi dans un placard, ce qui mène à une démission en général.
Et je ne dit pas qu'on ne se remet pas en cause, la plupart des managers qui arrivent en poste, pose des questions, observent puis suggèrent les améliorations qui sont suivies parce que raisonnables et expliquées.
Citation Envoyé par HaryRoseAndMac Voir le message
Cette boite viens me voir en disant qu'ils ont d'abord fait développer leur logiciel de A à Z par ... ChatGPT ! [...]
Puis, ... ils ont donnés les audit à des développeurs qu'ils ont pris à la sortie d'o'clock, alors qu'on sais tous que c'est le pire du bas de gamme et de l'incompétence possible que de piocher là dedans.
Je penses que ces scénarios vont se multiplier et je vais être honnete, je ne vais pas pleurer ces entreprises. Le groupe dans lequel je travaille nous encourageait très largement à des méthodes qui me paraissaient suicidaires.
Ils sont repassé chez nous semaine dernière, j'étais bien rassuré des les voir nous encourager à éviter le piège de ChatGPT (qui était le mot préféré de nos "sachant du 4.0"), des ESN cheap et de l'Offshore indien.

Il y a de ça un an on a lancé un grand projet de developpement d'un gros outil, j'ai décidé de quitter le navire quand on a choisi CapGemini parce qu'ils ont fait plusieurs projets pour nous, peu sont arrivés à au bout, et ceux qui l'ont été n'ont jamais été utilisé parce qu'ils ne répondaient ni à notre besoin ni à notre cahier des charges, qu'ils avaient refondus partiellement sans notre accord.
Nous avons interrompu le projet il y a peu, jetant par les fenetres quelques k€ au passage.
Je ne suis pas plus intelligents que les autres, je me souviens juste qu'on a toujours été déçu par leurs perstations mais je suis aussi trop personne pour que les jour où j'ai levé le warning tout le monde décide de m'ignorer. A la fin tout ça ne touche pas à mon salaire et ne me fait plus perdre mon temps donc je laisse faire mais c'est décourageant.
5  0 
Avatar de jvallois
Membre éclairé https://www.developpez.com
Le 01/04/2023 à 22:45
La vraie raison pour laquelle les Italiens ont bloqué Chat GPT : https://twitter.com/olexandr/status/1642180293409796096

4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 07/04/2023 à 11:57
Citation Envoyé par Jon Shannow Voir le message
Personnellement, ayant une bonne dose d'intelligence naturelle, je ne vois pas l'intérêt de me coltiner une intelligence artificielle.
Mais, comme toute prothèse, je pense que pour ceux qui ont un déficit de ce coté, une béquille ou un déambulateur comme ChatGPT peut leur venir en aide.
Ce n'est pas tout-à-fait ça, l'enjeu.
Ce qu'ils veulent, c'est se passer de ton intelligence pour ne pas avoir à te payer un salaire.
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 12:19
Citation Envoyé par archqt Voir le message
Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel. A la maison chatGPT ou travail de groupe et cela triche de tous les côtés
Ce n'est pas nouveau

<MODE VIEUX CON>
De mon temps, les devoirs à la maison, ça a toujours été inégalitaire :
- les parents diplômés (ou pas) pouvaient aider (ou pas)
- on pouvait avoir une encyclopédie à la maison (ou pas)
- on pouvait avoir un grand frère ou soeur (ou pas) intelligent (ou pas) qui aide (ou pas)
- un(e) amoureux(se) dévoué(e) en mode "esclave" qui fait tes devoirs (ou pas)
</MODE VIEUX CON>

J'ai coché toutes les cases "ou pas" du coup j'ai du tout faire moi-même ce qui m'a permis d'être débrouillard et une fois au collège et au lycée bon élève

Aujourd'hui tout le monde a accès à Internet.
ChatGPT permet aux moches / pas populaires / sans famille de tricher aussi - on va dire que c'est plus juste mais dans le mauvais sens, l'égalité par le nivellement par le bas

Les vedettes du collège et du lycée qui étaient gâtés et qui frimaient pas mal, bah... ils ne friment plus aujourd'hui

Quoique certains si quand même, car il y a des métiers (que je ne citerais pas) ou c'est la tactch' qui compte
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 13:43
Citation Envoyé par HaryRoseAndMac Voir le message
Et du temps de Vercingétorix c'était comment ?
La réponse est dans une chanson de France Gall

Charlemagne n'avait pas encore inventé l'école à cette époque
4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 25/05/2023 à 19:49
Plus stupide on a vu, déjà.

Du style, une constitution ayant pour objet d'encadrer l'activité du président de la république et des députés, que le président modifie selon son bon vouloir, tous les cinq ans, avec la complicité de ses potes du parlement.

Avant de taper sur les électeurs qui trouveraient à redire, en les accusant de terrorisme.

Ce qui n'empêche que si on arrive dans la dictature, ce n'est pas à cause du président. C'est plutôt à cause des citoyens de base, qui se comportent en dictature, en ne se formalisant pas si on leur demande de manipuler leurs concitoyens.
4  0 
Avatar de eternelNoob
Futur Membre du Club https://www.developpez.com
Le 09/05/2023 à 9:16
Et plus tard, on parlera de bulle de l'IA alors que certains auront effectivement décollé

Toujours les mêmes histoires...
3  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 23/05/2023 à 9:18
Et puis il y a peut-être le problème le plus frustrant de tous lorsqu'il s'agit de modéliser et de manipuler le comportement humain : la loi de Goodhart. Il s'agit du paradoxe, énoncé pour la première fois par Charles Goodhart, fonctionnaire de la Banque d'Angleterre, en 1975, selon lequel lorsqu'une mesure devient un objectif politique, elle cesse d'être une mesure fiable. Par exemple, les agrégats monétaires étaient autrefois de bons indicateurs de l'inflation. Mais lorsque les banques centrales ont adopté des objectifs basés sur ces chiffres, la corrélation stable a disparu.
Dang, je viens d'apprendre un truc, quelqu'un c'est actuellement fait chier à énoncer ce problème il y a presque 50ans et nos états sont toujours pas foutu capable de prendre ça en compte.
3  0