OpenAI met discrètement hors service son outil de détection des contenus générés par l'IA en raison d'un faible taux de précision,

L'échec d'OpenAI suscite des inquiétudes dans le milieu scolaire

OpenAI met discrètement hors service son outil de détection des contenus générés par l'IA en raison d'un faible taux de précision
l'échec d'OpenAI suscite des inquiétudes dans le milieu scolaire

OpenAI, créateur du chatbot populaire ChatGPT, a discrètement supprimé son outil de détection des contenus générés par l'IA moins de six mois après l'avoir lancé. L'outil, baptisé "AI Classifier", était censé sauver le monde - ou du moins, préserver la santé mentale des enseignants et autres professionnels - en détectant les contenus générés par l'IA. Ce retrait signifie que l'outil a échoué et l'entreprise a annoncé l'avoir débranché en raison d'un faible taux de précision. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA très performants à mettre en place des mesures de protection.

OpenAI a publié l'outil AI Classifier en février dernier pour identifier les textes écrits par l'IA. Il s'agit d'un modèle GPT (Generative Pre-trained Transformer) affiné qui prédit la probabilité qu'un contenu textuel ait été généré par l'IA. Le modèle peut être utilisé pour détecter les contenus générés par les chatbots tels que ChatGPT et le plagiat par l'IA. Mais depuis son lancement, l'outil n'a jamais fait état d'une grande fiabilité, car selon les propres déclarations d'OpenAI, il est très difficile de savoir si un texte est généré par un humain ou par une machine. Lors du lancement, OpenAI a annoncé que l'outil pouvait atteindre un taux de précision de 26 %.

« Notre classificateur n'est pas totalement fiable. Lors de nos évaluations sur un ensemble de défis de textes en anglais, notre classificateur identifie correctement 26 % des textes écrits par l'IA (vrais positifs) comme étant probablement écrits par l'IA, tout en étiquetant incorrectement des textes écrits par des humains comme étant écrits par l'IA dans 9 % des cas (faux positifs). La fiabilité de notre classificateur s'améliore généralement à mesure que la longueur du texte d'entrée augmente », a déclaré OpenAI lors du lancement de son outil en février. Cinq mois après, l'entreprise n'a pas réussi à faire mieux et a finalement décidé de débrancher l'outil.


Cela a été fait discrètement la semaine dernière et l'entreprise a confirmé que la raison était le faible taux de précision. La notification ne figure pas dans une nouvelle annonce, mais dans une note ajoutée à l'article de blogue qui annonçait l'outil pour la première fois. Le lien vers le classificateur d'OpenAI n'est plus disponible. « Nous nous efforçons d'intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l'IA », explique OpenAI.

OpenAI a déclaré que les limites du classificateur d'IA comprennent le manque de fiabilité sur les textes de moins de 1 000 caractères, l'étiquetage incorrect de textes écrits par l'homme comme étant généré par l'IA, et les classificateurs basés sur des réseaux neuronaux qui donnent de mauvais résultats en dehors de leurs données d'entraînement. Selon les analystes, l'échec d'OpenAI à détecter avec une précision suffisante les textes générés par son propre chatbot d'IA laisse entrevoir l'ampleur du désastre que sera le Web dans un avenir très proche. Mais les problèmes vont bien au-delà du Web, s'étendant notamment à l'éducation et à la finance.

L'éducation est un secteur qui s'intéresse de près à la détection précise du contenu généré par l'IA. Depuis le lancement de ChatGPT en novembre, les éducateurs ont tiré la sonnette d'alarme lorsque des étudiants ont commencé à utiliser le chatbot pour rédiger leurs dissertations. « Nous reconnaissons que l'identification du texte écrit par l'IA a été un point de discussion important parmi les éducateurs, et il est tout aussi important de reconnaître les limites et les impacts des classificateurs de texte générés par l'IA dans la salle de classe », a déclaré OpenAI, ajoutant que l'entreprise continuera à élargir la portée au fur et à mesure qu'elle apprend.

De nouvelles plateformes permettant l'utilisation d'une IA de plus en plus sophistiquée sont mises en ligne presque quotidiennement et ont donné naissance à une industrie artisanale de détecteurs d'IA. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA générative à mettre en place des mesures de protection. Elle survient en outre au moment où les éducateurs se préparent à la première année scolaire complète avec des outils tels que ChatGPT accessibles au public. Pour l'instant, les écoles et les enseignants semblent livrés à eux-mêmes et manquent de solution.

Ainsi, certaines écoles ont décidé de bannir ChatGPT et les outils d'IA similaires. En France, par exemple, le Directeur de la formation et de la recherche de Sciences Po a interdit aux étudiants d'utiliser ChatGPT ou des outils similaires dans le cadre de leurs études. Le recours aux chatbots d'IA est autorisé uniquement dans le cadre d'un usage pédagogique encadré par un enseignant. Aux États-Unis, les écoles publiques de New York et de Seattle ont interdit aux élèves et aux enseignants d'utiliser ChatGPT sur les réseaux et les appareils du district. Des enseignants ont réagi avec une rapidité remarquable en repensant leurs devoirs en réponse à ChatGPT.

Néanmoins, l'on ignore à quel point l'utilisation de ChatGPT est répandue parmi les élèves et à quel point il peut réellement nuire à l'apprentissage. Un autre domaine très impacté par ChatGPT est la recherche scientifique. Seulement quelques semaines après le lancement de ChatGPT, plusieurs rapports ont signalé que les résumés d'articles générés par le chatbot parvenaient à duper des scientifiques. Ces derniers n'étaient pas en mesure de faire la différence entre les résumés générés par l'IA et les résumés originaux. « Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni.

En raison de cela, Springer Nature, le plus grand éditeur universitaire du monde, a annoncé début janvier que ChatGPT - ou tout outil similaire de génération de texte - ne peut pas être crédité en tant qu'auteur dans les articles publiés dans ses revues. L'éditeur ne voit aucun problème au fait que l'IA soit utilisée pour aider à rédiger des recherches, mais elle exige que son utilisation soit correctement divulguée. Cette annonce de Springer Nature a ravivé le débat public sur la question de savoir si l'on peut attribuer la paternité d'une œuvre à une IA. Beaucoup s'opposent à cette idée, affirmant que l'IA générative ne fait que plagier les œuvres humaines.

Bien qu'OpenAI puisse mettre son outil au placard pour l'instant, il existe quelques alternatives sur le marché. D'autres entreprises, telles que Turnitin, ont également mis en place des outils d'IA qui sont censés aider les enseignants à détecter les travaux générés par l'IA. Edward Tuan, étudiant à Princeton, a quant à lui présenté un outil de détection similaire, baptisé ZeroGPT. D'autres sont en développement, mais l'échec d'OpenAI démontre la difficulté de la tâche.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'abandon de l'outil AI Classifier par OpenAI ?
Que représente cette nouvelle pour l'éducation et les autres secteurs concernés ?

Voir aussi

L'éditeur du chatbot ChatGPT lance un outil « imparfait » pour détecter les textes générés par cette IA et ainsi apporter réponse aux préoccupations des écoles en matière de plagiat

Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques, ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

Le plus grand éditeur universitaire du monde affirme que ChatGPT ne peut pas être crédité en tant qu'auteur, il peut servir pour rédiger des recherches, mais sa contribution doit être divulguée

Le Directeur de la formation et de la recherche de Sciences Po interdit aux étudiants d'utiliser le chatbot ChatGPT à l'exception d'un usage pédagogique encadré par un enseignant