L'éditeur du chatbot ChatGPT lance un outil « imparfait » pour détecter les textes générés par cette IA

Et ainsi apporter réponse aux préoccupations des écoles en matière de plagiat

Le 1^er février 2023 à 08:23, par Patrick Ruiz

0PARTAGES

Le créateur de ChatGPT, OpenAI, a procédé à la publication d’un outil Web gratuit conçu pour aider les enseignants et d'autres personnes à déterminer si un morceau de texte particulier a été écrit par un humain ou une machine. OpenAI entend ainsi répondre aux préoccupations de plagiat mises en avant par des institutions académiques. L’éditeur tient toutefois à prévenir le public : l'outil est imparfait. Ses performances varient en fonction de la similitude entre le texte analysé et les types d'écrits sur lesquels ChatGPT a été entraîné.

En d’autres termes, l’outil n’est pas infaillible et il ne faudrait pas compter dessus sur le long terme comme prévient Sam Altman CEO d’OpenAI dans une précédente sortie : « Nous allons essayer de faire certaines choses à court terme. Il y a peut-être des moyens d'aider les enseignants à être un peu plus susceptibles de détecter la sortie d'un système de type GPT, mais une personne déterminée les contournera et je ne pense pas que ce soit quelque chose sur lequel la société puisse ou doive compter à long terme. »

Il propose une échelle de résultats en cinq points : très peu probable d'avoir été généré par l'IA, peu probable, peu clair, possible ou probable. Il fonctionne mieux sur des échantillons de texte de plus de 1000 mots en anglais, les performances étant nettement moins bonnes dans les autres langues. Et il ne permet pas de distinguer le code informatique écrit par des humains de celui généré par une intelligence artificielle.

La publication de cet outil intervient après que des écoles faisant partie du Département de l'éducation de la ville de New York et du système scolaire public de Seattle ou encore SciencesPo en France ont interdit aux élèves et aux enseignants d'utiliser ChatGPT pour empêcher le plagiat et la tricherie. Le professeur Arvind Narayanan de l’université de Princeton est pourtant d’avis qu’il n’y a pas matière à paniquer car c’est de « la poudre de perlimpinpin. »

« Sayash Kapoor et moi-même l'appelons un générateur de conneries, comme d'autres l'ont aussi fait. Nous n'entendons pas cela dans un sens normatif mais dans un sens relativement précis. Nous voulons dire qu'il est entraîné à produire des textes plausibles. Il est très bon pour être persuasif, mais il n'est pas entraîné à produire des déclarations vraies. Il produit souvent des affirmations vraies comme effet secondaire de sa plausibilité et de sa persuasion, mais ce n'est pas son objectif.

Cela correspond en fait à ce que le philosophe Harry Frankfurt a appelé connerie, c'est-à-dire un discours destiné à persuader sans se soucier de la vérité. Un conteur humain ne se soucie pas de savoir si ce qu'il dit est vrai ou non ; il a certaines fins en tête. Tant qu'il persuade, ces objectifs sont atteints. En fait, c'est ce que fait ChatGPT. Il essaie d'être persuasif et il n'a aucun moyen de savoir avec certitude si les déclarations qu'il fait sont vraies ou non », déclare-t-il.

Arvind Narayanan se veut donc clair : ChatGPT reste un outil dont il faut faire usage avec prudence. C’est la raison pour laquelle certains enseignants optent déjà pour des politiques d’utilisation ouvertes de ce chatbot à l’intention de leurs étudiants.

Ethan Mollick de l’université de Pennsylvannie en fait partie. Sa décision d’opter pour une politique d’utilisation ouverte du chatbot ChatGPT s’appuie sur le fait que l'utilisation de l'intelligence artificielle est une compétence émergente. Il précise néanmoins au travers de cette dernière que l’intelligence artificielle peut se tromper. Les étudiants doivent donc vérifier les résultats qu’elle leur renvoie à l’aide d’autres et qu'ils seront responsables de toute erreur ou omission fournie par l'outil. De plus, les étudiants doivent faire preuve d’honnêteté intellectuelle en citant leur source (qui s’avère être ChatGPT) comme on le fait lors du montage d’une bibliographie. « Le manquement à cette obligation constitue une violation des politiques d'honnêteté académique », lit-on.

Source : OpenAI

Et vous ?