L’avènement de l’intelligence artificielle (IA) a transformé de nombreux aspects de notre vie quotidienne, et le domaine de l’éducation n’est pas en reste. Récemment, une étude menée par la société Turnitin, spécialisée dans la détection de plagiat, a révélé que les étudiants auraient soumis plus de 22 millions de travaux qui pourraient avoir été rédigés avec l’aide de l’IA au cours de l'année dernière.Cette révélation soulève des questions importantes sur l’intégrité académique et la manière dont l’IA est en train de redéfinir les méthodes d’apprentissage et d’évaluation. Turnitin a déployé il y a un an un outil de détection d’écriture IA, formé sur un trésor de travaux étudiants ainsi que sur d’autres textes générés par l’IA. Depuis lors, plus de 200 millions de travaux ont été examinés par le détecteur, principalement rédigés par des élèves du secondaire et des étudiants universitaires
L’outil a identifié que 11 % des travaux pourraient contenir un langage écrit par l’IA dans 20 % de leur contenu, avec 3 % des travaux examinés signalés pour avoir 80 % ou plus de contenu écrit par l’IA.
Malgré les défauts de l’IA, tels que la création de faits fictifs et la citation de références académiques qui n’existent pas réellement, les étudiants ont utilisé des chatbots pour la recherche, l’organisation des idées et même comme prête-plume. Des traces de chatbots ont même été trouvées dans des écrits académiques évalués par des pairs et publiés.
La détection de l’utilisation de l’IA est complexe. Ce n’est pas aussi simple que de signaler un plagiat, car le texte généré reste un texte original. De plus, il y a une nuance dans la façon dont les étudiants utilisent l’IA générative ; certains peuvent demander à des chatbots d’écrire leurs travaux pour eux en gros blocs ou en entier, tandis que d’autres peuvent utiliser les outils comme une aide ou un partenaire de brainstorming.
Les outils de détection eux-mêmes présentent un risque de biais
Une étude réalisée en 2023 a révélé un taux de faux positifs de 61,3 % lors de l'évaluation des examens du Test of English as a Foreign Language (TOEFL) à l'aide de sept détecteurs d'intelligence artificielle différents. L'étude n'a pas examiné la version de Turnitin. La société affirme qu'elle a entraîné son détecteur sur des textes rédigés par des apprenants d'anglais et par des anglophones de naissance.
Dans notre étude, nous avons évalué les performances de sept détecteurs GPT largement utilisés sur 91 essais TOEFL (Test of English as a Foreign Language) provenant d'un forum chinois et 88 essais d'élèves américains de quatrième (eight-grade) provenant de l'ensemble de données ASAP de la Fondation Hewlett. Alors que les détecteurs ont correctement classé les essais des étudiants américains, ils ont incorrectement étiqueté plus de la moitié des essais du TOEFL comme étant « générés par l'IA » (taux moyen de faux positifs : 61,3 %).
Tous les détecteurs ont unanimement identifié 19,8 % des essais du TOEFL écrits par des humains comme étant rédigés par des IA, et au moins un détecteur a signalé 97,8 % des essais du TOEFL comme étant générés par des IA. En y regardant de plus près, les essais TOEFL identifiés à l'unanimité présentaient une perplexité de texte significativement plus faible. La perplexité du texte est une mesure de la « surprise » ou de la « confusion » d'un modèle de langage génératif lorsqu'il tente de deviner le mot suivant dans une phrase. Si un modèle de langage génératif peut prédire facilement le mot suivant, la perplexité du texte est faible. En revanche, si le mot suivant est difficile à prédire, la perplexité du texte est élevée. La plupart des détecteurs GPT utilisent la perplexité du texte pour détecter les textes générés par l'IA, ce qui risque de pénaliser par inadvertance les auteurs non natifs qui utilisent une gamme plus limitée d'expressions linguistiques.
Tous les détecteurs ont unanimement identifié 19,8 % des essais du TOEFL écrits par des humains comme étant rédigés par des IA, et au moins un détecteur a signalé 97,8 % des essais du TOEFL comme étant générés par des IA. En y regardant de plus près, les essais TOEFL identifiés à l'unanimité présentaient une perplexité de texte significativement plus faible. La perplexité du texte est une mesure de la « surprise » ou de la « confusion » d'un modèle de langage génératif lorsqu'il tente de deviner le mot suivant dans une phrase. Si un modèle de langage génératif peut prédire facilement le mot suivant, la perplexité du texte est faible. En revanche, si le mot suivant est difficile à prédire, la perplexité du texte est élevée. La plupart des détecteurs GPT utilisent la perplexité du texte pour détecter les textes générés par l'IA, ce qui risque de pénaliser par inadvertance les auteurs non natifs qui utilisent une gamme plus limitée d'expressions linguistiques.
Une étude publiée en octobre a montré que Turnitin était l'un des détecteurs de langue les plus précis parmi 16 détecteurs d'IA dans le cadre d'un test au cours duquel l'outil a examiné des travaux de premier cycle et des travaux générés par l'IA.
Cette étude évalue la précision de 16 détecteurs de texte d'IA publiquement disponibles pour distinguer les écrits générés par l'IA de ceux générés par l'homme. Les documents évalués comprennent 42 essais de premier cycle générés par ChatGPT-3.5, 42 générés par ChatGPT-4, et 42 écrits par des étudiants dans un cours de composition de première année sans l'utilisation de l'IA.
Les performances de chaque détecteur ont été évaluées en fonction de sa précision globale, de sa précision pour chaque type de document, de son caractère décisif (nombre relatif de réponses incertaines), du nombre de faux positifs (documents générés par des humains et désignés comme IA par le détecteur) et du nombre de faux négatifs (documents générés par l'IA et désignés comme humains).
Trois détecteurs - Copyleaks, TurnItIn et Originality.ai - ont une grande précision avec les trois ensembles de documents. Bien que la plupart des 13 autres détecteurs puissent faire la distinction entre les documents GPT-3.5 et les documents générés par l'homme avec une précision raisonnablement élevée, ils sont généralement inefficaces pour faire la distinction entre les documents GPT-4 et ceux rédigés par des étudiants de premier cycle. Dans l'ensemble, les détecteurs qui exigent une inscription et un paiement ne sont que légèrement plus précis que les autres.
Les performances de chaque détecteur ont été évaluées en fonction de sa précision globale, de sa précision pour chaque type de document, de son caractère décisif (nombre relatif de réponses incertaines), du nombre de faux positifs (documents générés par des humains et désignés comme IA par le détecteur) et du nombre de faux négatifs (documents générés par l'IA et désignés comme humains).
Trois détecteurs - Copyleaks, TurnItIn et Originality.ai - ont une grande précision avec les trois ensembles de documents. Bien que la plupart des 13 autres détecteurs puissent faire la distinction entre les documents GPT-3.5 et les documents générés par l'homme avec une précision raisonnablement élevée, ils sont généralement inefficaces pour faire la distinction entre les documents GPT-4 et ceux rédigés par des étudiants de premier cycle. Dans l'ensemble, les détecteurs qui exigent une inscription et un paiement ne sont que légèrement plus précis que les autres.
Les écoles qui utilisent Turnitin ont eu accès au logiciel de détection de l'IA pendant une période pilote gratuite, qui s'est achevée au début de cette année. Selon Annie Chechitelli, chef de produit de l'entreprise, la majorité des clients du service ont choisi d'acheter le logiciel de détection de l'IA. Mais les risques de faux positifs et de préjugés à l'encontre des apprenants d'anglais ont conduit certaines universités à abandonner ces outils pour l'instant. L'université d'État de Montclair, dans le New Jersey, a annoncé en novembre qu'elle cesserait d'utiliser le détecteur d'IA de Turnitin. L'université Vanderbilt et l'université Northwestern ont fait de même l'été dernier.
« C'est difficile. Je comprends que les gens veuillent un outil », déclare Emily Isaacs, directrice exécutive de l'Office of Faculty Excellence à l'université Montclair. Mais Emily Isaacs explique que l'université est préoccupée par les résultats potentiellement biaisés des détecteurs d'intelligence artificielle, ainsi que par le fait que les outils ne peuvent pas fournir de confirmation comme c'est le cas pour le plagiat. En outre, l'université de Montclair ne souhaite pas interdire de manière générale l'IA, qui aura sa place dans le monde universitaire. Avec le temps et une plus grande confiance dans les outils, les politiques pourraient changer. « Il ne s'agit pas d'une décision définitive, mais d'une décision immédiate », précise Isaacs.
Selon Chechitelli, l'outil Turnitin ne devrait pas être le seul élément à prendre en compte pour décider de la réussite ou de l'échec d'un étudiant. Au contraire, c'est l'occasion pour les enseignants d'entamer des conversations avec les élèves qui abordent toutes les nuances de l'utilisation de l'IA générative. « Les gens ne savent pas vraiment où se situe la limite », dit-elle.
L'utilisation de l'IA dans le processus de notation par les enseignants complexifie le problème
Les enseignants, comprenant la situation, souhaitent tenir les étudiants responsables de l’utilisation de l’IA générative sans autorisation ni divulgation. Mais cela nécessite un moyen fiable de prouver que l’IA a été utilisée dans un devoir donné. Les instructeurs ont parfois tenté de trouver leurs propres solutions pour détecter l’IA dans l’écriture, utilisant des méthodes non testées pour faire respecter les règles, ce qui a causé du stress chez les étudiants. Par exemple, en mai, un professeur de la Texas A&M University-Commerce a accusé sa classe d'avoir utilisé le ChatGPT, mettant ainsi en péril les diplômes.
Jared Mumm, enseignant au département des sciences agricoles et des ressources naturelles, aurait dit aux étudiants qu'ils recevraient un "X" dans le cours après avoir utilisé ChatGTP pour déterminer s'ils avaient utilisé le logiciel pour rédiger leurs travaux finaux. Il a indiqué qu'il avait testé chaque devoir deux fois et que le bot avait prétendu avoir rédigé tous les devoirs finaux.
« Je copie et colle vos réponses dans [ChatGPT] et [il] me dira si le programme a généré le contenu », selon l'e-mail. Les étudiants signalés comme tricheurs « recevaient un 0 ». « Je ne noterai pas ChatGPT », a-t-il écrit sur le devoir d'un élève. « Je dois évaluer ce que vous apprenez, pas [ce que produit] un ordinateur ».
Le courrier électronique a semé la panique dans la classe, certains élèves craignant que leur diplôme ne soit menacé. Une élève de terminale, qui avait obtenu son diplôme au cours du week-end, a déclaré que l'accusation l'avait mise dans un état de frénésie. Elle a rassemblé des preuves de son innocence - elle avait rédigé ses dissertations dans Google Docs, qui enregistre les horodatages - et les a présentées à Mumm lors d'une réunion.
« Nous avons beaucoup souffert pour obtenir ces diplômes », a-t-elle déclaré dans une interview au Post. « L'idée que mon dur labeur ne soit pas reconnu et que mon caractère soit remis en question m'a vraiment frustrée ».
Comme pour ajouter de la complexité au problème, certains enseignants utilisent même l'IA générative dans leurs processus de notation.
Les enseignants comme les élèves utilisent les nouvelles technologies. Un rapport de la société de conseil en stratégie Tyton Partners, parrainé par la plateforme de détection du plagiat Turnitin, révèle que la moitié des étudiants se sont servi des outils d'IA à l'automne 2023. Parallèlement, bien que moins de membres du corps enseignant utilisent l'IA, le pourcentage a augmenté pour atteindre 22 % des membres du corps enseignant à l'automne 2023, contre 9 % au printemps 2023.
Les enseignants se tournent vers des outils et des plateformes d'IA - tels que ChatGPT, Writable, Grammarly et EssayGrader - pour les aider à corriger les copies, à rédiger des commentaires, à élaborer des plans de cours et à créer des devoirs. Ils utilisent également ces outils en plein essor pour créer des quiz, des sondages, des vidéos et des éléments interactifs afin d'améliorer les attentes en classe. Les étudiants, quant à eux, s'appuient sur des outils tels que ChatGPT et Microsoft CoPilot - qui est intégré dans Word, PowerPoint et d'autres produits.
Conclusion
L’utilisation de l’IA dans la rédaction de travaux académiques est une réalité qui ne peut être ignorée. Elle présente à la fois des défis et des opportunités pour le système éducatif. Alors que nous naviguons dans cette nouvelle ère, il est crucial de trouver un équilibre entre l’adoption de ces technologies innovantes et le maintien de l’intégrité académique.
Sources : les détecteurs GPT sont biaisés à l'encontre des rédacteurs dont l'anglais n'est pas la langue maternelle, l'efficacité des logiciels conçus pour détecter les écrits générés par l'IA : Comparaison de 16 détecteurs de textes générés par l'IA, étude de Turnitin
Et vous ?
Que pensez-vous des résultats de l'étude de Turnitin ? Les trouvez-vous crédibles ou non ? Dans quelle mesure ? Quelles devraient être les limites éthiques de l’utilisation de l’IA dans la rédaction de travaux académiques ? Comment les établissements d’enseignement peuvent-ils s’adapter pour intégrer l’IA tout en préservant l’intégrité académique ? L’IA générative devrait-elle être considérée comme un outil légitime pour aider les étudiants dans leur processus d’apprentissage ? Quel rôle les enseignants devraient-ils jouer pour encadrer l’utilisation de l’IA par les étudiants ? Comment pouvons-nous distinguer entre l’assistance de l’IA et la tricherie dans le contexte académique ? Devrions-nous craindre que l’IA puisse compromettre le développement des compétences d’écriture et de pensée critique chez les étudiants ? Quelles mesures les universités devraient-elles prendre pour détecter et décourager l’utilisation non divulguée de l’IA dans les travaux soumis ?