OpenAI développe un logiciel pour détecter le texte généré par ChatGPT

Plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains

OpenAI développe un logiciel capable de détecter si du texte a été généré par son modèle ChatGPT après que les responsables de l'éducation de la ville de New York ont annoncé qu'il empêchait les élèves d'accéder à l'outil dans les écoles publiques.

Les rapports d'élèves utilisant l'IA pour faire leurs devoirs à leur place ont incité les enseignants à réfléchir à la manière dont ils affectent l'éducation. Certains ont exprimé des inquiétudes quant à la façon dont les modèles de langages peuvent plagier des travaux existants ou permettre aux étudiants de tricher. Maintenant, OpenAI travaillerait à développer des « atténuations » qui aideront les gens à détecter le texte généré automatiquement par ChatGPT.

« Nous avons rendu ChatGPT disponible en tant que Research Preview pour apprendre de l'utilisation dans le monde réel, ce qui, selon nous, est un élément essentiel du développement et du déploiement de systèmes d'IA capables et sûrs. Nous intégrons constamment les commentaires et les leçons apprises », a déclaré un porte-parole de l'entreprise.

À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.

« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.

« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.

« Nous avons toujours appelé à la transparence autour de l'utilisation du texte généré par l'IA. Nos politiques exigent que les utilisateurs soient francs avec leur public lorsqu'ils utilisent notre API et nos outils créatifs... Nous sommes impatients de travailler avec les éducateurs sur des solutions utiles, et d'autres façons d'aider les enseignants et les étudiants à tirer parti de l'IA*», a indiqué un porte-parole d'OpenAI.

Être capable de distinguer l'écriture produite par un humain ou une machine changera la façon dont ils peuvent être utilisés dans le milieu universitaire. Les écoles seraient en mesure d'appliquer plus efficacement l'interdiction des essais générés par l'IA, ou peut-être seraient-elles plus disposées à accepter des articles si elles pouvaient voir comment ces outils peuvent aider leurs élèves.

Oui, les modèles de langage génératif peuvent être bons mais ils ne savent pas de quoi ils parlent

Aussi impressionnant que puisse paraître l'écriture générée par l'IA dans les gros titres avec des conférences universitaires et des écoles interdisant les articles écrits par machine, voici un rappel qu'ils manquent de compréhension par rapport à la véritable écriture humaine.

Dans un éditorial publié dans Salon, Gary Smith, professeur d'économie au Pomona College, a présenté quelques exemples où GPT-3 ne parvient pas à raisonner et à répondre efficacement aux questions :

« Si vous jouez avec GPT-3 (et je vous encourage à le faire), votre réponse initiale sera probablement l'étonnement... Vous semblez avoir une vraie conversation avec une personne très intelligente. Cependant, en approfondissant, vous découvrirez bientôt que si le GPT-3 peut enchaîner des mots de manière convaincante, il n'a aucune idée de ce que signifient les mots », a-t-il écrit.

« Prédire que le mot terre est susceptible de suivre le groupe de mots tomber par ne nécessite aucune compréhension de ce que signifie l'un ou l'autre mot - seulement un calcul statistique que ces mots vont souvent ensemble. Par conséquent, GPT-3 est enclin à faire des déclarations faisant autorité qui sont finalement complètement fausses ».

OpenAI a publié ChatGPT, un modèle plus récent en novembre dernier, conçu pour être une amélioration de GPT-3, mais il souffre toujours des mêmes problèmes, comme tous les modèles de langage existants.


Cela a-t-il été écrit par un robot ? Ces outils aident à détecter le texte généré par l'IA

C'est tellement difficile d'être un bot de nos jours. Juste au moment où vous pensiez que nous écririons tous avec l'IA d'ici à l'éternité, les ingénieurs ont commencé à développer de nouvelles façons de détecter si le texte a été écrit par ChatGPT ou un autre générateur de texte AI.

Voici trois outils de détection qui peuvent être utilisés dès maintenant (ou très bientôt).

Détecteur de sortie GPT-2

OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.

Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.

La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».

GLTR (Giant Language model Test Room)

Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.

Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.

GPTZero

Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.

Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.

Filigrane (à venir)

En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.

« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.

Apple ne veut pas rater le train de l'IA grand public, mais s'oriente vers des livres audio racontés par des voix synthétisées par une IA

Apple cherche à s'associer à des écrivains et éditeurs indépendants pour les aider à raconter leurs livres en utilisant des voix synthétisées par IA.

Les auteurs ont été invités à contacter Draft2Digital et Ingram CoreSource, deux sociétés qui produisent et publient des livres électroniques sur l'application Apple Books, s'ils souhaitent transformer leur travail en livres audio. Ils n'acceptent que les soumissions écrites en anglais pour la romance et la fiction, les autres genres ne sont pas encore pris en charge.

« De plus en plus d'amateurs de livres écoutent des livres audio, mais seule une fraction des livres est convertie en audio, laissant des millions de titres inédits », a déclaré Apple dans un article de blog. « De nombreux auteurs - en particulier les auteurs indépendants et ceux associés à de petits éditeurs - ne sont pas en mesure de créer des livres audio en raison du coût et de la complexité de la production. La narration numérique Apple Books rend la création de livres audio plus accessible à tous, vous aidant à répondre à la demande croissante. en mettant plus de livres à la disposition des auditeurs ».

Par rapport aux sons robotiques et minuscules que les ordinateurs produisaient lorsqu'ils imitaient les humains, les voix synthétiques de l'IA se sont considérablement améliorées. Elles sonnent maintenant assez naturellement et sont moins monotones.

La nouvelle fonctionnalité permettra aux auteurs auto-publiés d'élargir leur audience et leur donnera une autre source de revenus. Comme toujours, Apple prendra jusqu'à 30% de tous les achats effectués sur les applications disponibles sur son App Store.

Sources : OpenAI, Apple, GLTR

Et vous ?

Développer des outils capables d'indiquer si des textes ont été générés par IA ou par un humain est-il, selon vous, une urgence dans le contexte de la disponibilité d'outils comme ChatGPT ? Pourquoi ?
Que pensez-vous de l'approche d'Apple ?