Les écrits scientifiques universitaires générés par l'IA peuvent être identifiés avec une précision de plus de 99 %,

Selon des chercheurs de l'université de Kansas

Des chercheurs ont apparemment entraîné une intelligence artificielle à reconnaître les visages humains à partir de simples croquis, et affirment que leur système a plus de 99 % de précision. Leur méthode consiste à utiliser un réseau génératif antagoniste (GAN) pour transformer les croquis en images réalistes, puis à comparer ces images avec une base de données de photos de visages. Le système peut ensuite identifier la personne dessinée, même si le croquis est incomplet ou imprécis. Les chercheurs affirment que leur technique pourrait avoir des applications dans la sécurité, le divertissement et l’éducation.

Les débuts du chatbot d'intelligence artificielle ChatGPT ont mis le monde en ébullition grâce à sa capacité à produire des textes et des conversations semblables à ceux d'un être humain. Toutefois, selon une étude publiée le 7 juin dans la revue Cell Reports Physical Science, de nombreux signes révélateurs peuvent nous aider à distinguer les écrits des chatbots d'intelligence artificielle de celles des humains. Sur la base de ces signes, les chercheurs ont mis au point un outil permettant d'identifier les écrits scientifiques universitaires générés par l'IA avec une précision de plus de 99 %.


« Nous nous sommes efforcés de créer une méthode accessible, de sorte qu'avec peu de conseils, même des lycéens puissent construire un détecteur d'IA pour différents types d'écrits », explique Heather Desaire, premier auteur de l'étude et professeur à l'université du Kansas. « Il est nécessaire de se pencher sur l'écriture artificielle, et il n'est pas nécessaire d'avoir un diplôme en informatique pour contribuer à ce domaine.

« À l'heure actuelle, l'écriture de l'IA présente des problèmes assez flagrants », explique Heather Desaire. L'un des plus gros problèmes est qu'elle assemble des textes provenant de nombreuses sources et qu'il n'y a aucune sorte de vérification de l'exactitude - c'est un peu comme le jeu « Deux vérités et un mensonge ».

Bien que de nombreux détecteurs de texte intelligents soient disponibles en ligne et donnent d'assez bons résultats, ils n'ont pas été conçus spécifiquement pour la rédaction universitaire. Pour combler cette lacune, l'équipe a cherché à mettre au point un outil plus performant, destiné précisément à cet usage. Elle s'est concentrée sur un type d'article appelé « perspectives », qui donne une vue d'ensemble de sujets de recherche spécifiques rédigés par des scientifiques. L'équipe a sélectionné 64 perspectives et créé 128 articles générés par ChatGPT sur les mêmes sujets de recherche pour entraîner le modèle. En comparant les articles, ils ont trouvé un indicateur de l'écriture AI : la prévisibilité.

Une méthode simple et efficace pour identifier le texte de ChatGPT dans les écrits universitaires

ChatGPT a permis au plus grand nombre d'accéder à l'écriture générée par l'intelligence artificielle (IA), amorçant un changement culturel dans la façon dont les gens travaillent, apprennent et écrivent. Le besoin de distinguer l'écriture humaine de l'IA est maintenant à la fois critique et urgent. Pour répondre à ce besoin, les chercheurs présentent une méthode permettant de distinguer le texte généré par ChatGPT des scientifiques universitaires (humains), en s’appuyant sur des méthodes de classification supervisée répandues et accessibles.

L'approche utilise de nouvelles caractéristiques pour distinguer ces humains de l'IA ; à titre d'exemple, les scientifiques écrivent de longs paragraphes et ont un penchant pour le langage équivoque, utilisant fréquemment des mots tels que « mais », « cependant » et « bien que ». Avec un ensemble de 20 caractéristiques, les chercheurs ont comme dit précédemment construit un modèle qui attribue l'auteur, humain ou IA, avec une précision de plus de 99 %. Cette stratégie pourrait être adaptée et développée par d'autres personnes ayant des compétences de base en matière de classification supervisée, ce qui permettrait d'accéder à de nombreux modèles très précis et ciblés pour détecter l'utilisation de l'IA dans les écrits universitaires et au-delà.

Contrairement à l'IA, les humains ont des structures de paragraphe plus complexes, qui varient en nombre de phrases et en nombre total de mots par paragraphe, ainsi qu'en longueur de phrase. Les préférences en matière de signes de ponctuation et de vocabulaire sont également révélatrices.

Lors des tests, le modèle a obtenu un taux de précision de 100 % pour distinguer les articles de fond générés par l'IA de ceux rédigés par des humains. Pour ce qui est de l'identification des différents paragraphes d'un article, le taux d'exactitude du modèle était de 92 %. Le modèle de l'équipe de recherche a également largement surpassé un détecteur de texte IA disponible sur le marché lors de tests similaires.

L'équipe prévoit ensuite de déterminer l'étendue de l'applicabilité du modèle. Elle souhaite le tester sur des ensembles de données plus importants et sur différents types de textes scientifiques universitaires. À mesure que les chatbots d'IA progressent et deviennent plus sophistiqués, les chercheurs veulent également savoir si leur modèle tiendra la route.

« La première chose que les gens veulent savoir lorsqu'ils entendent parler de cette recherche, c'est si je peux l'utiliser pour savoir si mes étudiants ont réellement écrit leur article », a déclaré Desaire. Bien que le modèle soit très performant pour faire la distinction entre l'IA et les scientifiques, Desaire précise qu'il n'a pas été conçu pour permettre aux éducateurs d'identifier les rédactions d'étudiants générées par l'IA. Toutefois, elle note que les gens peuvent facilement reproduire leurs méthodes pour construire des modèles pour leurs propres besoins.

Développement et amélioration d’un détecteur d’IA basé sur des caractéristiques textuelles simples

Enfin, les spécialistes des données qui développent des détecteurs d'IA et les utilisateurs de ces détecteurs doivent être conscients de la course aux perfectionnements des grands modèles de langage et des méthodes conçues pour les détecter. Une version actualisée de ChatGPT est déjà disponible (GPT-4), et d'autres produits similaires sont en cours de publication. Cette question de la course aux perfectionnements a été l'un des...