Un professeur avoue être stupéfait que ChatGPT soit passé d'une note D à un A en seulement 3 mois à son examen d'économie.
« Ce logiciel est une exception qui confirme la règle »,estime-t-il
Le 2023-03-27 18:49:46, par Stéphane le calme, Chroniqueur Actualités
Un professeur d'économie a déclaré que les progrès réalisés par ChatGPT (il a amélioré son score de D à A lors de son test d'économie en seulement trois mois) l'ont stupéfait. Bryan Caplan, professeur d'économie à l'Université George Mason, a déclaré que la dernière version de ChatGPT pourrait désormais être responsable du premier gros pari qu'il ait jamais perdu.
ChatGPT-3.5 n'a pas compris la théorie de base
Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.
C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.
Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.
Envoyé par Caplan
Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.
Puis vient GPT-4
Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).
Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.
Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.
Envoyé par Caplan
La mise à niveau payante de ChatGPT visait à résoudre certains des premiers problèmes de la version bêta, GPT-3.5. Cela impliquait prétendument de rendre ChatGPT 40% plus susceptible de renvoyer des réponses précises, ainsi que de le rendre capable de gérer des instructions plus nuancées.
Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.
« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.
Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.
Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.
Difficile à tester
Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.
Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.
Source : Billets de Caplan (1, 2)
Et vous ?
Quelle lecture faites-vous de cette situation ? Est-ce pertinent de refaire le même test selon vous ? Pourquoi ?
Qu'est-ce qui pourrait expliquer la différence dans la note obtenue par ChatGPT sur le même exercice ?
Trouvez-vous des différences notables entre ChatGPT-4 et son prédécesseur ?
ChatGPT-3.5 n'a pas compris la théorie de base
Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.
C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.
Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.
Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.
Puis vient GPT-4
Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).
Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.
Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.
Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.
« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.
Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.
Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.
Difficile à tester
Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.
Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.
Source : Billets de Caplan (1, 2)
Et vous ?
-
schlebeMembre actifLa moindre des choses à exiger des articles publiés par ChatGPT et qu'il les signe afin de permettre aux lecteurs de connaître la véritable source des articles.
Il faudrait également sanctionner les sociétés qui publient des articles générés par ChatGPT avec du contenus inventés ou mensongers.
Une amende de 2% du chiffre d'affaire par articles mensongers publiés et une amende de 2% du chiffre d'affaire par jour et par articles mensongers constatés et toujours publiés plus d'une semaine après le constat.
Dans moins d'un mois, on ne parlera plus de ChatGPT de la même façon et il faudra engager du personnel pour vérifier tout ce qu'il aura écrit.le 08/06/2023 à 19:26 -
walfratMembre émérite"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".le 07/04/2023 à 9:55
-
Jon ShannowMembre extrêmement actifHeu ! Tu as des infos la dessus ? Non seulement sur la préparation, mais aussi la faisabilité...le 09/06/2023 à 14:59
-
totozorMembre expertC'est pas marrant d'être sans emploi dans un système capitaliste.
Que se passerait il si les gens n'avaient plus besoin de se salarier pour vivre?
La plupart travailleraient.
Par exemple que font les retraités qui ont la santé?
Il s'investissent dans les associations, ils gardent leurs petits enfants, ils investissent dans leur quartier, ils s'entreaident etc.
(Et ceux qui revaient d'être rentiers partent en voyage)
Pourquoi ceci n'est pas souhaitable?
Comment nos dirigeants s'assureraient d'avoir de la main d'oeuvre (au sens large)?
Bernard Arnault perdrait "de la valeur" (je ne dit pas qu'il n'en aurait plus) et Gérard l'éboueur, Géraldine l'aide soignante, Marcel le passionné d'astronomie en gagneraient
Oui le monde que je décrit est peut être idéaliste mais il y a des faisceau de pistes qui suggèrent que c'est viable
Et ce n'est qu'un monde à envisager parmi d'autres
Celui dans lequel on vit ne semble pas viable pour la majorité.le 09/06/2023 à 15:48 -
e-ricMembre expertSalut à tous
Ok pour l'estimation, mais le vrai de problème est de savoir qui va capter tout cet argent. Perso, je pense que cela ne va pas ruisseler et que bien au contraire, cela va mettre beaucoup de gens (comme nous) sur la paille.
tchüssle 16/06/2023 à 9:42 -
petitoursMembre chevronnéUne fois que l'on a compris que ChatGPT n'est qu'un agent conversationnel on peut le trouver super.
Dans le détail ça ne vaut pas plus qu'une discussion de lundi matin à la machine à café basée sur le fait qu'il faut absolument dire un truc et où le plus bavard, ici chatGPT, va absolument avoir un anecdote et répondre un truc quel que soit le sujet.
J'ai testé, longuement, et reçu des réponses régulièrement débiles.
Aujourd'hui je ne l'utilise que sur des sujets que je connais très bien pour voir ce qu'il me répond, notamment dans le cadre d'enseignements que je donne pour voir ce que mes étudiants vont avoir comme informations en passant par lui. Ce qu'il raconte est au mieux très vague, au pire profondément faux, souvent parce que révélant des mauvaises pratiques.
Cette médiocrité de l'information est à mon sens le plus négatif, sans doute basée sur le volume de données qu'il va chercher copieusement "enrichies" par des forums, blogs ou autres écrits par des non spécialistes.
Le fait qu'il fouine partout et utilise des données personnelles ou viole les droits des auteurs est un autre problème majeur mais personnellement je le le mettrait en 2, après celui de donner des informations fausses ou médiocres qui tirent vers le bas celui qui pose la question.le 31/01/2024 à 8:42 -
kain_tnExpert éminentSi les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.
On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gensle 28/03/2023 à 20:49 -
chrtopheResponsable SystèmesPas d'emploi => Pas de revenu
Pas de revenu => Pas d'impôt
Pas d'impôt => Pas de service public
Je modifierais par :
Pas d'emploi => Pas de revenu
Pas de revenu => Pas de quoi acheter les produits des entreprises => pas de revenus pour les entreprises
pas de revenus ni d'entreprises, ni de particuliers=> pas d"impôts => pas de services publics
en gros effondrement de notre modèle.
Postulons que le revenu universel pourrait être la solution : comment le financer ? Le seul financement viable que je vois c'est par les entreprises, et éventuellement par les personnes qui continueront à travailler en plus du revenu universel. Mais si ce qu'ils gagnent est taxé à 80% pour financer le système, quel est l’intérêt de travailler ? Les entreprises manqueront alors de personnel, et devront donc payer leur salariés chers, et payer des taxes encore plus lourdes, charges qui seront répercutées sur le prix des produits, rendant du coup le revenu universel insuffisant pour pouvoir les acheter.
Parade au problème : le blocage des prix. Les entreprises iront alors vendre ceux-ci ailleurs provoquant des pénuries, c'est ce qui se passe actuellement avec les médicaments.
Avoir un vrai revenu universel implique une non d'obligation de travailler, donc travailler doit réellement apporter quelque chose : argent , épanouissement, occupation, lien social, activités, en dehors de l'aspect financier, pouvant être réalisé dans le cadre associatif par exemple, pouvant apporter à la société et étant plus pertinent qu'un travail pour plein de gens. Comment viabiliser le truc ? Il faudrait déjà calculer le besoin de financement de ce revenu universel et ensuite voir comment le financer. Perso je passe mon tour, de toute façon je ne serais pas écouté.
Si de toute façon les gens n'ont plus de travail, une économie parallèle se généralisera je pense.le 09/06/2023 à 13:53 -
xavier-PierreMembre éclairéSelon une nouvelle étude menée par des chercheurs de Stanford, les étudiants en médecine de première et de deuxième année peuvent obtenir de meilleurs résultats que les étudiants en médecinele 21/07/2023 à 8:10
-
calvaireExpert confirménon, le full remote n'a jamais été l'avenir.
c'est le travail hybride qui était l'avenir et clairement ca prends, je trouve aucune boite en it qui impose du 100% en présentiel (et heureusement sinon ils trouverait personne), c'est 2-3j de télétravail/semaines.
capgemini (la plus grosse esn) c'est 4 jours de télétravail/semaines par exemple.
tu raisonnes en mode "l'état me le finance gratos ou hj'ai les moyens de me le payer"
dans les pays anglo-saxons, les populations s'appauvrisses avec l'inflation, ils a des grande coupe budgétaire à faire. éduquer ces enfants par chatgpt et se faire soigner par chatgpt c'est leurs seul solution pour survivre hélas.
dans les pays disons plus "socialiste" comme la France, les gens sont pauvres aussi mais peuvent encore avoir accès a ces services gratos. Mais la dette explose et quand faudra la rembourser, l'état va devoir bien tailler dans les dépenses, donc les flics ce seront des drones de combats autonomes, les profs remplacer par des bots et les docteurs (y'a déjà une pénurie) remplacer par chatgpt.
Faut bien payer la dette.
les pays comme la Roumanie, la France leurs volent leurs médecins, eux n'ont donc plus le choix c'est chatgpt ou crève.
La 5G ou les voitures électriques sont des fiascos industriels car les gens n'ont pas les moyens de se payer ces technos. Je me demande qui va acheter les batteries qu'ils vont produire dans le nord. La moyenne d'âge pour l'achat une voiture neuve en france c'est...57ans
donc la relance par l'industrie c'est juste une grosse blague.
et en 2027 ce sera la taxe carbone ne qui va venir (450€/ans)
donc les gens n'ont plus les moyens d'aller voir un médecin, de se payer un avocat ou d'aller a l'école, aujourd'hui beaucoup de francais peuvent juste acheter des pates le soir (le midi ils sautent le repas) pour se nourrir et acheter une tablette wiko pour lancer chatgpt pour s'instruire et se soigner.
C'est extrême ce que je dis mais lentement et surement on y va. Actuellement l'état est tellement dans la merde niveau finance qu'il en est a réfléchir a devenir copropriétaire de tous les bien immobilier de France pour déduire la dette. Donc de t'expropriée à terme.
Les entreprises doivent absolument alimenter la croissance pour les actionnaires, a n'importe quel prix, donc licenciements massifs obligatoire, même si la qualité est mauvaise.le 07/06/2023 à 9:40