Les détecteurs d'IA étiquettent mal les travaux des étudiants, ce qui donne lieu à de fausses accusations d'utilisation de l'intelligence artificielle pour soumettre des devoirs et des copies d'examen

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème
la détection des contenus générés par l'IA semble de plus en plus difficile

De nouvelles recherches montrent que de plus en plus d'étudiants dans le monde utilisent ChatGPT pour rédiger leurs dissertations ou pour faire d'autres devoirs. Mais encore, les rapports indiquent que les productions de l'IA sont parfois d'une qualité supérieure à celle des contenus rédigés par des humains. Dans un exemple récent, des étudiants de l'université de Cardiff ont déclaré avoir reçu des notes de première classe pour des dissertations rédigées à l'aide du chatbot d'IA d'OpenAI. L'enseignement supérieur fait face à l'intrusion brusque de ChatGPT dans le quotidien des étudiants et les écoles peinent à trouver un consensus pour s'adapter à la nouvelle donne.

ChatGPT va-t-il tuer la dissertation universitaire ? C'est une question qui devient de plus en plus récurrente dans les débats sur le net. Il existe des milliers d'universités dans le monde, dont la population étudiante cumulée se chiffre en centaines de millions, et au moins un petit pourcentage d'entre eux font aujourd'hui leurs devoirs avec l'aide de ChatGPT. Au début du mois, un étudiant de l'université de Cardiff, identifié sous le pseudonyme de Tom par la BBC, aurait fait appel à ChatGPT pour rédiger l'une de ses dissertations universitaires. Après quelques modifications, il affirme avoir obtenu une meilleure note que pour une dissertation qu'il avait lui-même rédigée.

Tom a déclaré avoir soumis deux dissertations de 2 500 pages en janvier ; l'une est rédigée avec l'aide de ChatGPT et l'autre sans. Pour la dissertation qu'il a rédigée avec l'aide de l'IA, Tom a obtenu une première note, la plus élevée qu'il n’ait jamais eue à l'université. En comparaison, il a obtenu un petit 2,1 pour la dissertation qu'il a rédigée sans le logiciel. « Je ne recopiais pas tout mot à mot, mais je posais des questions qui me permettaient d'accéder à l'information beaucoup plus rapidement que d'habitude », a déclaré Tom. L'étudiant a également admis qu'il continuerait probablement à utiliser ChatGPT pour planifier et formuler ses dissertations.


En mai dernier, avant même la sortie de ChatGPT fin novembre, un étudiant néo-zélandais a avoué utiliser l'IA pour rédiger ses devoirs. Selon l'étudiant, l'IA n'est qu'un outil semblable à Grammarly, un outil d'aide à l'écriture : « j'ai les connaissances, j'ai l'expérience vécue, je suis un bon étudiant, je vais à tous les travaux dirigés et à tous les cours magistraux et je lis tout ce que nous devons lire, mais j'avais l'impression d'être pénalisé parce que je n'écris pas de manière éloquente et je ne trouvais pas cela juste », a-t-il déclaré à un journal étudiant de Christchurch. Selon plusieurs rapports sur le sujet, les étudiants affirment qu'il ne s'agit pas de la tricherie.

Ils n'ont pas l'impression de tricher, car les directives de leur université stipulent seulement qu'"il est interdit de demander à quelqu'un d'autre de faire son travail à sa place". ChatGPT n'est pas "quelqu'un d'autre", c'est un programme. John, nom fictif, est un autre étudiant de l'université qui a admis avoir utilisé le logiciel pour l'aider dans ses devoirs. Interrogé sur le sujet, il a déclaré : « je l'ai utilisé plusieurs fois depuis décembre. Je pense que je l'ai utilisé au moins un peu pour chaque évaluation que j'ai eue. Il fait désormais partie intégrante de mon processus de travail et continuera probablement à le faire jusqu'à ce que je ne puisse plus y accéder ».

« Je l'ai aussi utilisé pour résumer des concepts de mon cours que je ne trouvais pas très bien expliqués par les professeurs. C'est un très bon outil qui permet d'éviter le bla-bla de certains professeurs sur des théories dont il n'est pas nécessaire de parler dans les dissertations. Cela réduit probablement de 20 % l'effort que je devrais fournir pour une dissertation », a-t-il ajouté. Bien que ChatGPT n'insère pas de références, John a déclaré qu'il n'avait eu aucun problème à les remplir lui-même. Les deux étudiants ont déclaré qu'ils n'utilisent pas l'IA pour rédiger leurs dissertations, mais pour générer un contenu qu'ils peuvent modifier et adapter eux-mêmes.

L'université de Cardiff a révélé qu'au cours de la période d'évaluation de janvier 2023, 14 443 visites ont été enregistrées sur le site de ChatGPT sur les réseaux Wi-Fi de l'université. Un mois auparavant, aucune visite n'aurait été enregistrée. Toutefois, malgré l'augmentation du nombre de visites au cours de la période d'évaluation, l'école estime que rien ne permet de penser que ces visites ont été effectuées à des fins illégitimes. « La plupart des visites ont été identifiées comme provenant de notre réseau de recherche. Notre école d'informatique, par exemple, s'intéresse à la recherche et à l'enseignement de l'IA », a déclaré l'université de Cardiff.

Cependant, plusieurs critiques sont remontés contre l'université pour cette déclaration. Selon les critiques, il est important que les étudiants rédigent eux-mêmes leurs dissertations ou leurs essais, sans aucune aide de la part d'un autre humain ou d'un programme d'IA. « L'essai, en particulier l'essai de premier cycle, est au centre de la pédagogie humaniste depuis des générations. C'est la façon dont nous enseignons aux enfants comment rechercher, penser et écrire. Toute cette tradition est sur le point d'être bouleversée de fond en comble », explique un critique qui appelle à trouver un consensus sur l'encadrement de l'IA générative dans les écoles.

Selon les critiques, ni les ingénieurs qui construisent la technologie de l'IA générative ni les éducateurs qui seront confrontés à cette technologie ne sont préparés aux retombées. Ils estiment que les écoles d'enseignement supérieur devraient s'attaquer au problème, mais qu'elles n'y parviendront pas si elles adoptent la même attitude que l'université de Cardiff. Ils estiment qu'elles ne doivent pas partir du principe selon lequel les étudiants consultent ChatGPT seulement à des fins de recherche. « C'est comme si l'on croyait les personnes qui prétendent consulter des contenus pour adultes pour en apprendre davantage sur l'anatomie humaine », a écrit un critique.

« Ce dont les éducateurs ont besoin aujourd'hui, c'est d'un système semblable aux outils de détection du plagiat qu'ils utilisent aujourd'hui pour les aider à repérer les contenus copiés. Lorsque j'ai vérifié mes essais, j'ai eu du mal à trouver des citations directes d'œuvres écrites antérieurement. (ChatGPT ne cesse de s'améliorer.) Les professeurs auront donc besoin d'un nouvel outil capable de reconnaître les signes révélateurs des dissertations générées par l'IA », a-t-il ajouté. Mais de précédents rapports ont révélé que les outils de détections de texte généré par l'IA, y compris celui d'OpenAI, n'étaient pas vraiment convaincants et que la tâche s'avère difficile.

En janvier, OpenAI a déclaré qu'il développe un logiciel capable de détecter si un texte donné avait été généré par son modèle ChatGPT. Le même mois, le service antiplagiat Turnitin a déclaré avoir mis au point un outil permettant de détecter les rédactions écrites par ChatGPT. Le détecteur aurait un taux de confiance de 98 % et n'est actuellement disponible que pour les non-étudiants et les établissements d'enseignement. Toutefois, l'année prochaine, Turnitin prévoit de diffuser l'outil plus largement auprès des personnes ayant souscrit un abonnement à Turnitin Originality. Beaucoup sont toutefois sceptiques quant à l'efficacité de l'outil.

Par exemple, lorsqu'on lui a demandé s'il craignait ce qui se passerait s'il se faisait prendre, John a déclaré qu'il était certain que l'influence de l'IA dans son travail est indétectable. « Je ne vois pas comment quelqu'un pourrait faire la différence entre un travail entièrement personnel et un travail assisté par l'IA », a-t-il déclaré. Il y a tout de même une chose qu'il craint. Si les transcriptions de ses communications avec le réseau d'IA étaient découvertes, John craint que son diplôme ne lui soit retiré. De son côté, l'université de Cardiff a déclaré qu'elle prenait "extrêmement au sérieux" les allégations d'inconduite académique, y compris le plagiat.

« Je suis content de l'avoir utilisé quand je l'ai fait, en dernière année de licence, parce que j'ai l'impression...