Le service antiplagiat Turnitin affirme avoir mis au point un outil pour détecter les rédactions écrites par ChatGPT,

Mais les critiques sont sceptiques quant à l'efficacité du système

Turnitin, connu pour son logiciel antiplagiat utilisé par des dizaines de milliers d'universités et d'écoles dans le monde, affirme avoir mis au point un outil permettant de détecter les textes générés par les systèmes d'IA tels que ChatGPT. L'entreprise ajoute que son logiciel détecte automatiquement les travaux rédigés par une IA, allant même jusqu'à montrer quelles parties d'un essai ont été rédigées par l'IA et par un humain. L'outil de Turnitin arrive à un moment où le débat sur la question de savoir s'il faut autoriser ou non l'utilisation des systèmes tels que ChatGPT en milieu scolaire s'intensifie. Les enseignants devraient pouvoir disposer de cet outil dans les mois à venir.

Les grands modèles de langage ont gagné en popularité depuis le lancement commercial de GPT-3 d'OpenAI en 2020. Aujourd'hui, de nombreux acteurs du secteur ont construit leurs propres systèmes rivaux, donnant le coup d'envoi à une nouvelle vague de startups développant des IA génératives. Ces modèles fonctionnent comme des chatbots à usage général. Les utilisateurs tapent des instructions, et ils répondent par des passages de texte cohérents et convaincants. Les étudiants se tournent de plus en plus vers ces IA pour effectuer leurs travaux, tandis que les enseignants commencent seulement à considérer leur impact et leur rôle dans l'éducation.

Les avis sont partagés. Certains pensent que la technologie peut affiner les compétences rédactionnelles, tandis que d'autres la considèrent comme une tricherie. Des sources ont rapporté au cours des dernières semaines que des écoles de Californie, de New York, de Virginie et de l'Alabama ont banni l'utilisation des outils d'IA tels que ChatGPT et ont bloqué l'accès des étudiants sur les réseaux publics. Les départements de l'éducation ne savent pas exactement quelles politiques devraient être introduites pour réglementer l'utilisation des systèmes d'IA de génération de texte. En outre, toutes les règles seraient de toute façon difficiles à appliquer.


Cela en raison du fait qu'il n'existe actuellement aucun moyen efficace de détecter les textes écrits par des IA. Au début du mois, un étudiant a proposé une application d'analyse de texte qui détecte s'il a été rédigé par une IA, mais l'outil a rapidement fait preuve de certaines insuffisances. Et bien qu'OpenAI ne partage pas l'avis selon lequel ChatGPT pourrait accentuer la tricherie dans les écoles, la société a également annoncé au début du mois qu'elle travaille à la mise en place d'un logiciel pour détecter le texte généré par son chatbot d'IA. L'outil de détection d'OpenAI n'est pas encore prêt, mais le service américain Turnitin en propose désormais un.

Turnitin a récemment mis en ligne une démo de sa technologie. Dedans, Turnitin a montré le nombre de phrases dans certains échantillons de dissertations qui ont été écrites par une IA (24 sur 24 dans un cas) et a mis en évidence le texte dans différentes nuances pour indiquer les parties écrites par l'IA et les parties partiellement écrites par l'IA. Annie Chechitelli, directrice des produits chez Turnitin, a déclaré que l'entreprise construit discrètement son logiciel de détection depuis des années, notamment depuis la sortie de GPT-3 en 2020. GPT-3 est un grand modèle de langage développé par OpenAI, avec environ 175 milliards de paramètres.

L'outil est toujours en développement, mais Turnitin espère lancer son logiciel au cours du premier semestre de cette année. « Il s'agira d'une détection assez basique au début, puis nous lancerons des versions rapides ultérieures qui créeront un flux de travail plus exploitable pour les enseignants », a déclaré Chechitelli. Le plan est de rendre le prototype gratuit pour ses clients existants à mesure que la société recueille des données et des commentaires des utilisateurs. La ruée pour donner aux éducateurs la capacité d'identifier les textes écrits par des humains et des ordinateurs s'est intensifiée avec le lancement de ChatGPT fin novembre 2022.

« Au début, nous voulons vraiment aider le secteur et aider les éducateurs à prendre leurs marques et à se sentir plus confiants. Et obtenir le plus d'utilisation possible dès le début ; c'est important pour faire un outil réussi. Plus tard, nous déterminerons comment nous allons le produire », a-t-elle ajouté. Bien que le texte généré par l'IA soit convaincant, il existe des signes révélateurs de l'œuvre d'une IA : elle est souvent fade et sans originalité ; des outils comme ChatGPT régurgitent des idées et des points de vue existants et n'ont pas de voix distincte. Les humains peuvent repérer les textes générés par l'IA, mais cela devient de plus en plus difficile.

Toutefois, les machines sont bien meilleures pour cela. Eric Wang, vice-président de l'IA chez Turnitin, note que les ordinateurs peuvent détecter des modèles évidents dans les textes produits par l'IA. « Même si nous avons l'impression que cela ressemble à de l'œuvre d'un humain, [les machines écrivent en utilisant] un mécanisme fondamentalement différent. Elles choisissent le mot le plus probable à l'endroit le plus probable, et c'est une façon très différente de construire le langage par rapport à vous et moi », a-t-il déclaré à The Register. L'outil de Turnitin semble baser son fonctionnement sur la façon dont les humains lisent et écrivent les textes.

Wang explique : « nous lisons en faisant des allers-retours avec nos yeux sans même le savoir, ou en papillonnant entre les mots, entre les paragraphes, et parfois entre les pages. Nous avons aussi tendance à écrire avec un état d'esprit futur. Je peux être en train d'écrire, et je pense à quelque chose, un paragraphe, une phrase, un chapitre ; la fin de la rédaction est liée dans mon esprit à la phrase que je suis en train d'écrire, même si les phrases entre maintenant et alors n'ont pas encore été écrites ». D'après Wang, ChatGPT, en revanche, ne dispose pas de ce type de flexibilité et ne peut générer de nouveaux mots qu'à partir de phrases précédentes.

Le détecteur de Turnitin fonctionne en prédisant quels mots l'IA est plus susceptible de générer dans un extrait de texte donné. « C'est très fade sur le plan statistique. Les humains n'ont pas tendance à utiliser systématiquement un mot à forte probabilité dans des endroits à forte probabilité, mais GPT-3 le fait, et notre détecteur s'en aperçoit vraiment », a-t-il déclaré. Wang a déclaré que le détecteur est basé sur la même architecture que GPT-3 et l'a décrit comme une version miniature du modèle. Selon lui, à bien des égards, il s'agit de combattre le feu par le feu. Il y a un composant de détection attaché au lieu d'un composant de génération.

« Ce qu'il fait, c'est qu'il lit le langage exactement de la même manière[/les machines écrivent en utilisant]...