Pour lutter contre le plagiat assisté par IA occasionné par ChatGPT d'OpenAI, un étudiant propose une application d'analyse de texte

Qui détecte s'il a été rédigé par une IA

Un professeur de l'université de Caroline du Sud a tiré la sonnette d'alarme après avoir découvert que l'un de ses étudiants a utilisé ChatGPT, le nouveau chatbot d'IA du laboratoire OpenAI, pour rédiger sa dissertation. Pour le professeur, cette IA, vielle de quelques semaines à peine et facilement accessible au public, porte un nouveau coup à l'enseignement supérieur, déjà en proie à une tricherie endémique.

Les propositions de solutions se multiplient pour endiguer le problème. Parmi elles, celle d'un étudiant de Princeton : une application qui vise à savoir si des essais ont été écrits par des IA comme ChatGPT. L'application analyse le texte pour voir à quel point il est écrit de manière aléatoire, ce qui lui permet de détecter s'il a été écrit par l'IA. Le site Web hébergeant l'application, construit par Edward Tian, a planté en raison d'un trafic élevé.

En lançant ChatGPT début décembre, OpenAI n'a sans doute pas pensé à la façon dont son modèle d'IA pourrait être détourné ou à la façon dont il pourrait impacter le monde. ChatGPT a tout de suite attiré l'attention de tous et serait même parvenu à s'introduire dans des endroits auxquels beaucoup ne s'y attendaient pas. À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.

« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.

« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.

Tout d'abord, il a introduit le texte suspect dans un logiciel conçu par les producteurs de ChatGPT pour déterminer si la réponse écrite avait été formulée par l'IA. Il a obtenu une correspondance probable à 99,9 %. Mais contrairement à un logiciel standard de détection du plagiat - ou à un devoir universitaire bien rédigé - le logiciel ne proposait aucune citation. Hick a ensuite essayé de produire le même essai en posant à ChatGPT une série de questions qu'il imaginait avoir été posées par son étudiant. Le professeur affirme avoir obtenu des réponses similaires, mais aucune correspondance directe, car l'outil formule des réponses uniques.

Finalement, Hick a confronté l'étudiant, qui a avoué avoir utilisé ChatGPT et a échoué au cours en conséquence. L'étudiant a également été remis au doyen de l'école. Mais Hick craint que d'autres cas soient presque impossibles à prouver et que lui et ses collègues soient bientôt inondés de travaux frauduleux. Des universités comme Furman chercheraient à établir des protocoles académiques formels pour cette technologie en développement. Pour l'instant, Hick dit que le mieux qu'il peut faire est de surprendre les étudiants suspects avec des examens oraux impromptus, en espérant les prendre au dépourvu sans leur armure technologique.

Vient alors GPTZero

Une nouvelle application peut détecter si votre essai a été écrit par ChatGPT, car les chercheurs cherchent à lutter contre le plagiat de l'IA. Edward Tian, étudiant en informatique à Princeton, a déclaré avoir passé la période des vacances à développer GPTZero.

Il a partagé deux vidéos comparant l'analyse de l'application d'un article du New Yorker et une lettre écrite par ChatGPT. Il a correctement identifié qu'ils ont été respectivement écrits par un humain et une IA.


GPTZero note le texte sur sa « perplexité et sa rafale [burstiness] » (se référant à sa complexité et à son écriture aléatoire). Dans les statistiques, la rafale [burstiness] est l'augmentation et la diminution intermittentes de l'activité ou de la fréquence d'un événement. L'une des mesures de la rafale est le facteur Fano, un rapport entre la variance et la moyenne des comptages.

here's a demo with @nandoodles's Linkedin post that used ChatGPT to successfully respond to Danish programmer David Hansson's opinions pic.twitter.com/5szgLIQdeN

— Edward Tian (@edward_the6) January 3, 2023

L'application était si populaire qu'elle a planté « en raison d'un trafic Web étonnamment élevé » et affiche actuellement une page d'inscription bêta. GPTZero est toujours disponible sur la page Streamlit de Tian, après que les hébergeurs du site Web sont intervenus pour augmenter sa capacité.

Tian, un ancien journaliste de données de la BBC, a déclaré qu'il était motivé pour construire GPTZero après avoir constaté une augmentation des cas de plagiat de l'IA.

« Les enseignants du secondaire voudront-ils que les élèves utilisent ChatGPT pour écrire leurs essais d'histoire ? Probablement pas », a-t-il tweeté.


ChatGPT met en place son propre système de lutte contre le plagiat en facilitant l'identification

Alors que...