L'Université du Kansas a dévoilé un outil de détection d'IA conçu pour repérer les articles scientifiques rédigés par l'IA avec une précision quasi parfaite. Le détecteur, qui excelle à discerner le travail humain authentique des compositions de l'IA, apparaît comme une lueur d'espoir au milieu du malaise généralisé suscité par l'empiètement de l'IA sur la rédaction universitaire.Dirigée par le professeur Heather Desaire, l'équipe de recherche a percé le dilemme de la détection d'IA, en ciblant spécifiquement les essais scientifiques dans le domaine de la chimie. Contrairement aux détecteurs d'IA plus généraux qui couvrent un large spectre avec un succès modéré, l'outil de Mme Desaire est affiné pour une meilleure précision dans ce domaine spécialisé, et a obtenu des résultats remarquables lors de tests sur le contenu des revues de l'American Chemical Society.
Les prouesses du détecteur ont été inégalées lorsqu'il a été confronté à des introductions rédigées par des humains, obtenant un score sans faille en matière de reconnaissance. Il n'a connu qu'un léger échec dans la détection des introductions générées par ChatGPT, où il a maintenu un taux d'exactitude impressionnant de 98 %.
En revanche, les classificateurs d'IA plus larges tels que ZeroGPT sont restés à la traîne dans ce domaine, avec un taux de réussite de seulement 37 %, tandis qu'un autre acteur majeur, OpenAI, a connu un taux d'échec surprenant de 80 %.
Cette avancée est extrêmement prometteuse pour l'intégrité académique, car les publications savantes sont confrontées au phénomène des générateurs de texte à base d'IA. Elle marque une étape stratégique dans la sauvegarde de la qualité du discours scientifique, en garantissant que les outils d'IA innovants mais faillibles ne diluent pas la littérature avec du contenu fabriqué ou de faible valeur.
Mme Desaire, tout en soulignant les risques de voir des faussetés générées par l'IA s'infiltrer dans le monde universitaire, a également fait part d'une histoire humoristique mais prudente, celle d'une biographie rédigée par ChatGPT qui s'est trompée complètement dans ses références.
Cependant, elle garde espoir, s'opposant à la vision défaitiste selon laquelle l'IA est une force irrésistible. Elle plaide en faveur de mesures éditoriales proactives et estime que cette avancée technologique est synonyme d'une bataille gagnée d'avance pour préserver le caractère sacré de la littérature scientifique.
Le résumé de l'étude intitulée "Détecter avec précision un texte d'IA lorsqu'on demande à ChatGPT d'écrire comme un chimiste", réalisée par les chercheurs de l'Université du Kansas est présenté ci-dessous :
Résumé
Les grands modèles de langage comme ChatGPT peuvent générer des textes authentiques à la vitesse de l'éclair, mais de nombreux éditeurs de revues rejettent les modèles de langage en tant qu'auteurs de manuscrits. Il est donc urgent de trouver un moyen de distinguer avec précision les textes générés par l'homme de ceux générés par l'intelligence artificielle (IA). Nous avons récemment mis au point un détecteur de texte d'IA précis pour les revues scientifiques et, dans le présent document, nous testons ses capacités dans diverses situations difficiles, notamment sur des textes humains provenant d'une grande variété de revues de chimie, sur des textes d'IA provenant du modèle de langage le plus avancé disponible publiquement (GPT-4) et, surtout, sur des textes d'IA générés à l'aide d'invites conçues pour obscurcir l'utilisation de l'IA. Dans tous les cas, les textes humains et d'IA ont été attribués avec une grande précision. Le texte généré par ChatGPT peut être facilement détecté dans les revues de chimie ; cette avancée est une condition préalable fondamentale pour comprendre comment la génération automatisée de texte aura un impact sur l'édition scientifique à partir d'aujourd'hui et dans le futur.
Les grands modèles de langage comme ChatGPT peuvent générer des textes authentiques à la vitesse de l'éclair, mais de nombreux éditeurs de revues rejettent les modèles de langage en tant qu'auteurs de manuscrits. Il est donc urgent de trouver un moyen de distinguer avec précision les textes générés par l'homme de ceux générés par l'intelligence artificielle (IA). Nous avons récemment mis au point un détecteur de texte d'IA précis pour les revues scientifiques et, dans le présent document, nous testons ses capacités dans diverses situations difficiles, notamment sur des textes humains provenant d'une grande variété de revues de chimie, sur des textes d'IA provenant du modèle de langage le plus avancé disponible publiquement (GPT-4) et, surtout, sur des textes d'IA générés à l'aide d'invites conçues pour obscurcir l'utilisation de l'IA. Dans tous les cas, les textes humains et d'IA ont été attribués avec une grande précision. Le texte généré par ChatGPT peut être facilement détecté dans les revues de chimie ; cette avancée est une condition préalable fondamentale pour comprendre comment la génération automatisée de texte aura un impact sur l'édition scientifique à partir d'aujourd'hui et dans le futur.
Et vous ?
Qu'en pensez-vous ? Selon vous, cette recherche de l'Université du Kansas est-elle crédible et pertinente ? Quel est votre point de vue sur l'importance de ces outils pour préserver l'authenticité des écrits universitaires ? Que pensez-vous du rôle des interventions éditoriales combinées aux outils de détection d'IA pour garantir la qualité et l'intégrité du discours scientifique face aux progrès de la technologie de l'IA ?Voir aussi
Les détecteurs de contenu GPTZero et Turnitin rivalisent pour la suprématie de l'IA dans le milieu académique, afin de répondre à l'essor des générateurs de texte d'IA générative, selon Similarweb Une étude affirme que les internautes ne parviennent à détecter avec précision les textes générés par l'IA que dans 50 % des cas, et une autre estime que les outils de détection ne sont pas fiables Le service antiplagiat Turnitin affirme avoir mis au point un outil pour détecter les rédactions écrites par ChatGPT, mais les critiques sont sceptiques quant à l'efficacité du système OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains