ChatGPT, l’outil d’IA crée par OpenAI est un chatbot avec lequel les utilisateurs peuvent maintenir un dialogue naturel (par écrit), et il a été formé de telle manière qu’il est capable de résoudre de nombreuses questions que les utilisateurs pourraient avoir sur de nombreux sujets. Selon un article publié dans Scientific Reports, les performances du grand modèle de langage surpassent celles de l’étudiant moyen dans d’autres matières, notamment les études politiques, l’ingénierie et la psychologie. En revanche, en mathématiques et en économie, la technologie du chatbot n’a pas été à la hauteur.L'émergence de grands modèles de langage a conduit au développement d'outils puissants, tels que ChatGPT, qui peuvent produire des textes impossibles à distinguer d'un travail généré par un être humain. Avec l'accessibilité croissante de cette technologie, les étudiants du monde entier peuvent l'utiliser pour les aider dans leurs travaux scolaires - une possibilité qui a suscité de nombreuses discussions sur l'intégrité des processus d'évaluation des étudiants à l'ère de l'intelligence artificielle (IA).
ChatGPT : l’outil d’IA générative qui révolutionne la productivité
L'intelligence artificielle générative (IA) fait référence à l'utilisation d'algorithmes d'apprentissage automatique qui s'appuient sur du matériel existant, tel que du texte, de l'audio ou des images, pour créer un nouveau contenu. Les progrès récents dans ce domaine, associés à son accessibilité sans précédent, ont conduit de nombreuses personnes à le considérer comme un « changement de donne auquel la société et l'industrie doivent se préparer ». Dans le domaine de l'art, par exemple, Stable Diffusion et DALL-E ont fait l'objet d'une attention particulière pour leur capacité à générer des œuvres d'art dans différents styles. Amper Music, un autre outil d'IA générative, est capable de générer des morceaux de musique de n'importe quel genre et a déjà été utilisé pour créer des albums entiers.
ChatGPT est l'outil le plus récent dans ce domaine, capable de générer des réponses textuelles semblables à celles d'un être humain à un large éventail de questions dans de nombreuses langues. Plus précisément, il le fait d'une manière conversationnelle, donnant aux utilisateurs la possibilité de s'appuyer naturellement sur les messages précédents sous la forme d'un dialogue continu. Cet outil a été qualifié de « succès extraordinaire » et de « révolution de la productivité », en raison de son utilité apparemment infinie dans de nombreuses applications hors du commun, telles que la création littéraire, le marketing, le service clientèle et le journalisme, pour n'en citer que quelques-unes.
Les capacités de l'outil ont suscité un grand intérêt, ChatGPT ayant atteint un million d'utilisateurs cinq jours seulement après son lancement, et s'étant envolé à plus de 100 millions d'utilisateurs mensuels en l'espace de deux mois.
Les professeurs d’université confrontés à la tricherie des étudiants grâce à ChatGPT
Malgré ses capacités impressionnantes, l'IA générative a été entachée de controverses éthiques. En particulier, comme les modèles d'IA générative sont formés sur des quantités massives de données disponibles sur l'internet, il y a eu un débat permanent sur la propriété de ces données. En outre, à mesure que ces outils continuent d'évoluer, il devient de plus en plus difficile d'identifier ce qui est créé par des humains et ce qui est créé par un algorithme. Dans le contexte de l'éducation, la capacité de ChatGPT à rédiger des dissertations et à générer des solutions pour les devoirs a suscité d'intenses discussions concernant les violations de l'intégrité académique par les étudiants des écoles et des universités.
Par exemple, aux États-Unis, son utilisation a été interdite par les districts scolaires de New York, Los Angeles et Baltimore. De même, les universités australiennes ont annoncé leur intention de revenir aux examens « papier et crayon » pour lutter contre l'utilisation de cet outil par les étudiants pour la rédaction de leurs essais. En effet, de nombreux éducateurs ont fait part de leurs inquiétudes concernant le plagiat, des professeurs de l'université George Washington, de l'université Rutgers et de l'université d'État d'Appalachian ayant choisi d'abandonner complètement les devoirs à domicile.
En décembre de l’année dernière, un professeur de l'université de Caroline du Sud tire la sonnette d'alarme après avoir découvert que l'un de ses étudiants a utilisé ChatGPT, le nouveau chatbot d'IA du laboratoire OpenAI, pour rédiger sa dissertation. Le professeur estime que cette IA, vielle de quelques semaines à peine et facilement accessible au public, porte un nouveau coup à l'enseignement supérieur, déjà en proie à une tricherie endémique.
Dans un message partagé sur sa page Facebook, il a souligné qu'il n'était pas le seul professeur dont les étudiants ont commencé par utiliser ce type de logiciel d'IA pour rédiger leurs dissertations.
En début d’année à Lyon, un professeur a remarqué de curieuses similitudes dans les copies rendues par la moitié de ses étudiants; il leur avait donné une semaine pour rédiger leurs devoirs. Si les mots différaient, leurs structures démonstratives et leurs exemples sont restés constamment les mêmes. C’est en se renseignant auprès de ses élèves que l’un d’eux a fini par avouer l’utilisation de ChatGPT dans la rédaction.
À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.
« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.
« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.
ChatGPT : un générateur d’absurdités ou une opportunité d’améliorer l’évaluation des apprentissages ?
Plus récemment en mai, un professeur de la Texas A&M University-Commerce a tenté de faire échouer certains étudiants : il a déclaré avoir utilisé ChatGPT pour vérifier s'ils avaient utilisé le logiciel pour rédiger leurs devoirs. Or, ChatGPT n'est pas conçu pour détecter les documents qu'il a lui-même composés au préalable.
Un professeur d’informatique de Princeton a déclaré que ChatGPT, un générateur de textes plausibles, n’était pas une source de panique en matière d’IA. Il a expliqué que ChatGPT était entraîné à produire des textes persuasifs plutôt que des déclarations vraies. Bien qu’il produise souvent des affirmations vraies comme effet secondaire de sa plausibilité et de sa persuasion, ce n’est pas son objectif principal. En fait, cela correspond à ce que le philosophe Harry Frankfurt a appelé connerie, c’est-à-dire un discours destiné à persuader sans se soucier de la vérité. ChatGPT essaie d’être persuasif et n’a aucun moyen de savoir avec certitude si les déclarations qu’il fait sont vraies ou non.
Sam Illingworth, Professeur agrégé de l'Université Napier d'Édimbourg, pense que c'est le moment de repenser le système d'évaluation. « Loin de m'inquiéter des défis que ce programme d'IA pourrait poser, j'y vois plutôt une opportunité d'améliorer la façon dont nous évaluons les apprentissages dans l'enseignement supérieur. »
ChatGPT : un outil d’IA générative qui surpasse les étudiants dans certains domaines
L'équipe dirigée par Talal Rahwan et Yasir Zaki, tous deux professeurs associés en informatique à l'université de New York à Abou Dhabi (NYUAD), a constaté que le ChatGPT surpassait les étudiants de manière plus marquée dans un cours intitulé « Introduction aux politiques publiques », dans lequel sa note moyenne était de 9,56 contre une moyenne de 4,39 pour les étudiants.
L'étude a demandé aux membres de la faculté de NYUAD de fournir 10 questions tirées d'un cours qu'ils ont enseigné à l'université, ainsi que trois réponses d'étudiants choisies au hasard pour chaque question. Parallèlement, ChatGPT a été utilisé pour générer trois réponses distinctes à chacune des 10 questions fournies pour chaque cours.
Les réponses des étudiants et de ChatGPT ont ensuite été compilées dans un document unique, dans un ordre aléatoire, et notées par des évaluateurs qui ne savaient pas lesquelles provenaient d'une personne et lesquelles du LLM. « Nous avons constaté que les performances de ChatGPT sont comparables, voire supérieures, à celles des étudiants sur neuf des 32 cours. En outre, nous constatons que les algorithmes de détection actuels ont tendance à mal classer les réponses humaines comme étant générées par l'IA, et à mal classer les réponses de ChatGPT comme étant générées par l'homme », indique l'étude.
Toutefois, « une fois encore, nous constatons que l'écart de performance le plus important entre ChatGPT et les étudiants concerne les questions liées aux mathématiques, suivies des questions pièges. Pour l'instant, les humains semblent surpasser ChatGPT dans ces domaines ».
En début d’année, nous avons rapportés que ChatGPT a réussi des examens dans une faculté de droit américaine après avoir rédigé des essais sur des sujets allant du droit constitutionnel à la fiscalité et aux délits. Sur plus de 95 questions à choix multiples et 12 questions à développement, ChatGPT a obtenu une note de C+, faible mais suffisante pour réussir l'examen. Après avoir donné des détails sur ces résultats, les professeurs ont discuté de leurs implications pour la formation juridique et la profession d'avocat. Ils ont entre autres prévenu que cela pourrait conduire à une fraude généralisée et même signaler la fin des méthodes d'enseignement traditionnelles en classe. Ils ont aussi fourni des exemples d'invites et des conseils sur la façon dont ChatGPT peut aider à la rédaction juridique.
ChatGPT : un étudiant en droit médiocre, mais un outil prometteur pour les avocats
ChatGPT ne peut pas encore surpasser la plupart des étudiants en droit aux examens, selon de nouvelles recherches, mais il peut obtenir une note de passage. Jonathan Choi, professeur à la faculté de droit de l'Université du Minnesota, a soumis à ChatGPT le même test auquel les étudiants étaient confrontés, composé de 95 questions à choix multiples et de 12 questions à développement. Dans un livre blanc intitulé « ChatGPT va à la faculté de droit », lui et ses coauteurs ont rapporté que l’outil d’IA avait obtenu un C+ dans l'ensemble, en dessous de la moyenne B+ des humains.
« Seul, ChatGPT serait un étudiant en droit plutôt médiocre », a déclaré l'auteur principal de l'étude, Jonathan Choi, qui a collaboré avec les professeurs Kristin Hickman, Amy Monahan et Daniel Schwarcz. « Le plus grand potentiel pour la profession ici est qu'un avocat puisse utiliser ChatGPT pour produire une première ébauche et simplement rendre sa pratique beaucoup plus efficace », a-t-il déclaré.
Nous avons également rapporté que ChatGPT a réussi un examen de MBA donné par un professeur de l’université de Pennsylvannie. Les questions d’examen ont été proposées au chatbot telles que dans le cadre d’un examen final.
À ce jour, on ne sait pas exactement comment ces outils se comportent par rapport aux étudiants qui suivent des cours de niveau universitaire dans diverses disciplines. En outre, on ne connaît pas le point de vue des étudiants sur l'utilisation de ces outils dans le cadre de leur travail scolaire, ni celui des enseignants qui considèrent leur utilisation comme du plagiat. Nous comparons ici les performances de l'outil de pointe, ChatGPT, à celles des étudiants de 32 cours de niveau universitaire.
De plus, les classificateurs de texte IA actuels ne peuvent pas détecter de manière fiable l'utilisation de ChatGPT dans le travail scolaire, en raison de leur propension à classer les réponses écrites par des humains comme étant générées par l'IA, ainsi que de la relative facilité avec laquelle le texte généré par l'IA peut être édité pour échapper à la détection.
Enfin, il semble qu'un consensus émerge parmi les étudiants pour utiliser l'outil, et parmi les éducateurs pour traiter son utilisation comme du plagiat. Nos conclusions offrent des perspectives qui pourraient guider les discussions politiques sur l'intégration de l'intelligence artificielle dans les cadres éducatifs.
En dehors des mathématiques et de l'économie, chaque discipline compte au moins un cours pour lequel les performances du ChatGPT sont comparables, voire supérieures, à celles des étudiants. Ces cours sont les suivants :
- Structures de données ;
- Introduction aux politiques publiques ;
- Biologie synthétique quantitative ;
- Cyber-guerre ;
- Programmation orientée objet ;
- Structure et propriétés des matériaux de génie civil ;
- Biopsychologie ;
- Climat/changement ;
- Gestion et organisations.
Pour vérifier la fiabilité des résultats, les chercheurs ont normalisé les notes attribuées par chaque correcteur pour chaque cours afin de tenir compte des effets propres aux correcteurs, et ils ont à nouveau constaté que les performances de ChatGPT étaient comparables, voire supérieures, à celles des étudiants dans les neuf cours susmentionnés.
Pour vérifier la fiabilité des résultats, les chercheurs ont normalisé les notes attribuées par chaque correcteur pour chaque cours afin de tenir compte des effets propres aux correcteurs, et ils ont à nouveau constaté que les performances de ChatGPT étaient comparables, voire supérieures, à celles des étudiants dans les neuf cours susmentionnés.
Comparaison entre ChatGPT et des étudiants de niveau universitaire. Comparaison de la note moyenne de ChatGPT (en vert) et de la note moyenne des étudiants (en bleu), les barres d'erreur représentant les intervalles de confiance à 95 %. (a) Comparaison entre les cours universitaires. (b) Comparaison entre les dimensions « processus cognitif » et « connaissance » de la taxonomie de l'apprentissage d'Anderson et Krathwohl. (c) Comparaison entre les types de questions. Les valeurs p sont calculées à l'aide du bootstrapped two-sided Welch’s T-test et ne sont indiquées que pour les cours où les TPG n'obtiennent pas une note significativement inférieure à celle des étudiants.
Il est intéressant de noter que l'écart de performance entre ChatGPT et les étudiants est nettement plus faible pour les questions exigeant des niveaux élevés de connaissances et de processus cognitifs, par rapport à celles exigeant des niveaux intermédiaires. Il est également intéressant de noter la performance de ChatGPT sur les questions qui requièrent de la créativité - le niveau le plus élevé de la dimension du processus cognitif - avec une note moyenne de 7,5 par rapport à la note moyenne des étudiants de 7,9. Il n'est peut-être pas surprenant de constater que les seules questions pour lesquelles ChatGPT obtient de meilleurs résultats que les étudiants sont celles qui requièrent des connaissances factuelles, ce qui atteste des quantités massives de données sur lesquelles il a été entraîné.
Enfin, les chercheurs comparent les performances de ChatGPT avec différents types de questions. À cette fin, pour chaque question, ils ont demandé aux professeurs participants de préciser si la question :
- concerne les mathématiques ;
- concerne des extraits de code ;
- nécessite la connaissance d'un auteur spécifique, d'un article/livre, ou d'une technique/méthode particulière ;
- est une question piège.
Les résultats sont résumés dans la figure c ci-dessus. Une fois de plus, nous constatons que l'écart de performance le plus important entre ChatGPT et les étudiants concerne les questions liées aux mathématiques, suivies des questions pièges. Pour l'instant, les humains semblent surpasser ChatGPT dans ces domaines. ChatGPT est devenu moins performant pour effectuer certaines opérations mathématiques de base, selon des chercheurs de l'Université de Stanford et de l'Université de Californie à Berkeley.
Malgré ces exemples, la littérature manque encore d'une étude systématique comparant les performances du ChatGPT à celles d'étudiants de différentes disciplines dans le même établissement. En outre, les perspectives des étudiants et des éducateurs du monde entier concernant l'utilisation de cette technologie restent floues. Enfin, la détectabilité des solutions générées par ChatGPT pour les devoirs reste inconnue.
Source : Scientific Reports
Et vous ?
Les conclusions des travaux des professeurs associés en informatique à l'université de New York à Abou Dhabi, sont-elles pertinentes ? À votre avis, les résultats de l’étude sont-ils généralisables à d’autres models ? Selon vous, pourquoi la technologie du chatbot n’a-t-elle pas été à la hauteur en mathématiques et en économie? Quels seraient les défis spécifiques auxquels ChatGPT est confronté dans ces domaines ? Utilisez-vous ChatGPT ? Quelle est votre expérience de l'outil d'IA ? Quels sont les avantages et les inconvénients de l’utilisation de ChatGPT par rapport à d’autres outils d’IA ? Dans quels cas ChatGPT est-il plus efficace que d’autres outils d’IA, et dans quels cas est-il moins efficace ?Voir aussi :
Chat GPT a atteint un million d'utilisateurs en un temps record, cinq jours seulement après sa création en novembre 2022, révolutionnant le gain de temps dans divers domaines ChatGPT réussit un examen de MBA donné par un professeur de l'université de Pennsylvannie, après un d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US ChatGPT réussit l'examen de la faculté de droit des États-Unis malgré des performances médiocres, des professeurs estiment que cela pourrait signer la fin des méthodes d'enseignement traditionnelles Un professeur texan a fait échouer plus de la moitié de sa classe, après que ChatGPT a prétendu à tort qu'il avait rédigé leurs travaux Lyon : ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs. « Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs » Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », Il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur