Les écrits scientifiques universitaires générés par l'IA peuvent être identifiés avec une précision de plus de 99 %,

Selon des chercheurs de l'université de Kansas

Le 8 juin 2023 à 21:30, par Bruno

5PARTAGES

Des chercheurs ont apparemment entraîné une intelligence artificielle à reconnaître les visages humains à partir de simples croquis, et affirment que leur système a plus de 99 % de précision. Leur méthode consiste à utiliser un réseau génératif antagoniste (GAN) pour transformer les croquis en images réalistes, puis à comparer ces images avec une base de données de photos de visages. Le système peut ensuite identifier la personne dessinée, même si le croquis est incomplet ou imprécis. Les chercheurs affirment que leur technique pourrait avoir des applications dans la sécurité, le divertissement et l’éducation.

Les débuts du chatbot d'intelligence artificielle ChatGPT ont mis le monde en ébullition grâce à sa capacité à produire des textes et des conversations semblables à ceux d'un être humain. Toutefois, selon une étude publiée le 7 juin dans la revue Cell Reports Physical Science, de nombreux signes révélateurs peuvent nous aider à distinguer les écrits des chatbots d'intelligence artificielle de celles des humains. Sur la base de ces signes, les chercheurs ont mis au point un outil permettant d'identifier les écrits scientifiques universitaires générés par l'IA avec une précision de plus de 99 %.

« Nous nous sommes efforcés de créer une méthode accessible, de sorte qu'avec peu de conseils, même des lycéens puissent construire un détecteur d'IA pour différents types d'écrits », explique Heather Desaire, premier auteur de l'étude et professeur à l'université du Kansas. « Il est nécessaire de se pencher sur l'écriture artificielle, et il n'est pas nécessaire d'avoir un diplôme en informatique pour contribuer à ce domaine.

« À l'heure actuelle, l'écriture de l'IA présente des problèmes assez flagrants », explique Heather Desaire. L'un des plus gros problèmes est qu'elle assemble des textes provenant de nombreuses sources et qu'il n'y a aucune sorte de vérification de l'exactitude - c'est un peu comme le jeu « Deux vérités et un mensonge ».

Bien que de nombreux détecteurs de texte intelligents soient disponibles en ligne et donnent d'assez bons résultats, ils n'ont pas été conçus spécifiquement pour la rédaction universitaire. Pour combler cette lacune, l'équipe a cherché à mettre au point un outil plus performant, destiné précisément à cet usage. Elle s'est concentrée sur un type d'article appelé « perspectives », qui donne une vue d'ensemble de sujets de recherche spécifiques rédigés par des scientifiques. L'équipe a sélectionné 64 perspectives et créé 128 articles générés par ChatGPT sur les mêmes sujets de recherche pour entraîner le modèle. En comparant les articles, ils ont trouvé un indicateur de l'écriture AI : la prévisibilité.

Une méthode simple et efficace pour identifier le texte de ChatGPT dans les écrits universitaires

ChatGPT a permis au plus grand nombre d'accéder à l'écriture générée par l'intelligence artificielle (IA), amorçant un changement culturel dans la façon dont les gens travaillent, apprennent et écrivent. Le besoin de distinguer l'écriture humaine de l'IA est maintenant à la fois critique et urgent. Pour répondre à ce besoin, les chercheurs présentent une méthode permettant de distinguer le texte généré par ChatGPT des scientifiques universitaires (humains), en s’appuyant sur des méthodes de classification supervisée répandues et accessibles.

L'approche utilise de nouvelles caractéristiques pour distinguer ces humains de l'IA ; à titre d'exemple, les scientifiques écrivent de longs paragraphes et ont un penchant pour le langage équivoque, utilisant fréquemment des mots tels que « mais », « cependant » et « bien que ». Avec un ensemble de 20 caractéristiques, les chercheurs ont comme dit précédemment construit un modèle qui attribue l'auteur, humain ou IA, avec une précision de plus de 99 %. Cette stratégie pourrait être adaptée et développée par d'autres personnes ayant des compétences de base en matière de classification supervisée, ce qui permettrait d'accéder à de nombreux modèles très précis et ciblés pour détecter l'utilisation de l'IA dans les écrits universitaires et au-delà.

Contrairement à l'IA, les humains ont des structures de paragraphe plus complexes, qui varient en nombre de phrases et en nombre total de mots par paragraphe, ainsi qu'en longueur de phrase. Les préférences en matière de signes de ponctuation et de vocabulaire sont également révélatrices.

Lors des tests, le modèle a obtenu un taux de précision de 100 % pour distinguer les articles de fond générés par l'IA de ceux rédigés par des humains. Pour ce qui est de l'identification des différents paragraphes d'un article, le taux d'exactitude du modèle était de 92 %. Le modèle de l'équipe de recherche a également largement surpassé un détecteur de texte IA disponible sur le marché lors de tests similaires.

L'équipe prévoit ensuite de déterminer l'étendue de l'applicabilité du modèle. Elle souhaite le tester sur des ensembles de données plus importants et sur différents types de textes scientifiques universitaires. À mesure que les chatbots d'IA progressent et deviennent plus sophistiqués, les chercheurs veulent également savoir si leur modèle tiendra la route.

« La première chose que les gens veulent savoir lorsqu'ils entendent parler de cette recherche, c'est si je peux l'utiliser pour savoir si mes étudiants ont réellement écrit leur article », a déclaré Desaire. Bien que le modèle soit très performant pour faire la distinction entre l'IA et les scientifiques, Desaire précise qu'il n'a pas été conçu pour permettre aux éducateurs d'identifier les rédactions d'étudiants générées par l'IA. Toutefois, elle note que les gens peuvent facilement reproduire leurs méthodes pour construire des modèles pour leurs propres besoins.

Développement et amélioration d’un détecteur d’IA basé sur des caractéristiques textuelles simples

Enfin, les spécialistes des données qui développent des détecteurs d'IA et les utilisateurs de ces détecteurs doivent être conscients de la course aux perfectionnements des grands modèles de langage et des méthodes conçues pour les détecter. Une version actualisée de ChatGPT est déjà disponible (GPT-4), et d'autres produits similaires sont en cours de publication. Cette question de la course aux perfectionnements a été l'un des principaux moteurs de notre développement d'une approche qui peut être rapidement déployée sur de petits ensembles de données d'entraînement par des scientifiques de données peu qualifiés.

D'autres chercheurs pourront se joindre à la course aux perfectionnements pour développer des détecteurs d'IA si des stratégies simples - qui peuvent être mises en œuvre et améliorées par des chercheurs n'ayant aucune expérience en analyse de texte ou en modèles de langage de grande taille - peuvent être démontrées comme étant efficaces.

En étendant cette stratégie à d'autres ou à de nouvelles circonstances, plusieurs options supplémentaires pour distinguer les documents pourraient être utilisées en conjonction ou à la place de celles décrites . Premièrement, le nombre de mots populaires ou de types de mots qui varient entre les groupes de formation et de test pourrait être augmenté ; la liste présentée ici ne rend pas compte de manière exhaustive des différences entre ces deux types de texte, et d'autres types de texte pourraient certainement avoir d'autres mots clés qui les distinguent.

Le fait de n'utiliser que 20 caractéristiques introduit une limite potentielle : des auteurs prudents pourraient apporter des modifications minimes au texte produit par ChatGPT afin d'invalider l'utilité de suffisamment de ces caractéristiques pour que le texte passe pour un « texte humain » alors qu'il ne l'est pas. En ne publiant pas de version facilement accessible de cet outil en ligne, nous atténuons quelque peu ce risque, car les chercheurs naïfs ne sauront pas quelles sont les caractéristiques les plus importantes et/ou comment leurs modifications influencent la classification globale de l'écriture.

Une autre stratégie pour améliorer encore ce détecteur pourrait consister à concevoir une caractéristique basée sur une approche utilisée par Gehrmann et al. ; ils ont attribué à chaque mot du document un score pour son utilisation courante ou rare dans le modèle de langage et ont agrégé ces scores en un indicateur numérique unique. Une stratégie similaire pourrait être utilisée pour construire une nouvelle caractéristique à ajouter aux caractéristiques existantes décrites ici, et une telle caractéristique pourrait être plus difficile à manipuler dans la rédaction d'IA.

Une dernière voie possible pour différencier les documents plus longs qu'un paragraphe consiste à identifier des caractéristiques utiles au niveau du document. Par exemple, la diversité de la longueur des paragraphes est plus importante dans les textes générés par des humains que dans ceux générés par ChatGPT. En fait, la simple utilisation de l'écart-type du nombre de mots dans chaque paragraphe d'un document donné permet d'obtenir un indicateur très prédictif de l'origine humaine de l'auteur du document.

L'aire sous la courbe (AUC) pour cette seule caractéristique est de 0,98 pour les données d'apprentissage. Bien que ce calcul unique soit simple, rapide et étonnamment précis, il n'a pas été utilisé dans ce travail parce que la stratégie consistant à attribuer une classe à chaque paragraphe et à effectuer l'attribution finale sur la base de la classe ayant le plus grand nombre de paragraphes attribués a donné des résultats plus précis.

Nous notons que l'utilisation de cette seule caractéristique, l'écart-type de la longueur des paragraphes, est plus prédictive que les affectations de documents complets du détecteur de sortie GPT-2. Dans les cas où les différences au niveau des paragraphes sont difficiles à détecter, l'utilisation de caractéristiques au niveau des documents, en particulier celles qui évaluent la diversité de la longueur des paragraphes, peut accroître la capacité de discrimination du modèle.

L’écriture humaine et l’écriture d’IA : une analyse comparative de quatre catégories de caractéristiques

En comparant manuellement de nombreux exemples dans l'ensemble de formation, les chercheurs ont identifié quatre catégories de caractéristiques qui semblaient utiles pour distinguer l'écriture humaine de celle du chatbot. Il s'agit :

de la complexité des paragraphes ;
de la diversité de la longueur des phrases ;
de l'utilisation différente des signes de ponctuation ;
des différents « mots populaires ».

Bien que ces catégories de caractéristiques aient été obtenues indépendamment, par le biais de comparaisons de textes, les chercheurs notent que trois des quatre catégories sont similaires à des types de caractéristiques utilisées ailleurs. La diversité de la longueur des phrases est une caractéristique également utilisée dans un détecteur d'IA en ligne ‘’(GPTZero ; https://gptzero.me/)’’, bien que le modèle sous-jacent, la méthode et l'efficacité relative de cet outil n'aient pas été divulgués publiquement ou examinés par des pairs.

L'utilisation différentielle de la ponctuation a déjà été signalée, mais dans ce cas, l'exemple principal était celui d'humains utilisant plusieurs points d'exclamation ( !!) pour mettre l'accent, une pratique qui n'est pas utilisée dans les écrits académiques.

Enfin, les caractéristiques linguistiques, et en particulier les mots couramment utilisés, ont déjà montré leur utilité dans l'identification des écrits d'IA, mais dans l'exemple cité, l'ensemble du corpus de textes utilisé pour former le grand modèle linguistique a été utilisé pour l'évaluation statistique des échantillons d'écriture. Nous n'avons connaissance d'aucun rapport de chercheurs soulignant l'utilité de la complexité des paragraphes en tant que type de caractéristique ; peut-être est-ce parce que les scientifiques, en tant que groupe, écrivent des paragraphes plus complexes que les écrits humains des ensembles de données existants.

Les données de test étaient également des articles de Science sur les perspectives, mais elles provenaient de numéros légèrement plus anciens (2021 et 2020 au lieu de 2022/2023). Les mêmes caractéristiques et le même modèle ont été utilisés, toutes les données d'apprentissage étant désormais exploitées pour construire un modèle unique permettant d'évaluer les exemples des ensembles de tests.

Alors qu'une légère baisse de précision, attendue, se produit au niveau du paragraphe, « nous sommes heureux de constater qu'au niveau du document, le modèle est précis à 100 % pour les 180 exemples des ensembles de tests (combinés). En outre, la précision du modèle pour le premier paragraphe de chaque document est de 97 % dans un ensemble de données et de 99 % dans l'autre, ce qui confirme la conclusion selon laquelle le test d'un premier paragraphe donne de meilleurs résultats que le test de n'importe quel paragraphe aléatoire. »

Détection de l’écriture de ChatGPT : comparaison avec le détecteur de sortie GPT-2

En résumé, cette approche dépasse des attentes, en particulier au niveau du document, bien que des efforts supplémentaires pour identifier des caractéristiques plus nombreuses ou meilleures puissent améliorer les performances lorsque l'objectif est d'attribuer la propriété d'un seul paragraphe.

Les résultats du nouveau modèle de détection de l'écriture dans ChatGPT peuvent être mieux appréciés lorsqu'ils sont comparés à une méthode de pointe existante. Pour les raisons décrites dans l'introduction, la méthode choisie pour cette comparaison était la version accessible en ligne du détecteur RoBERTa, GPT-2 Output Detector. Chaque paragraphe de texte des ensembles de formation et de test a été fourni au détecteur de sortie, un à la fois, et la paternité (humaine ou IA) a été attribuée sur la base du score de sortie, qui va de 0 % à 100 % pour les deux groupes.

Les scores ont été convertis en affectations binaires (humain ou IA) et les résultats pour les ensembles d'entraînement et de test ont été comptabilisés, à la fois au niveau d'un seul paragraphe et au niveau d'un document complet. Le détecteur de sortie GPT-2 s'est avéré inférieur à la méthode décrite ici pour chaque évaluation effectuée. Plus particulièrement, au niveau du document complet, qui comprenait au moins 300 mots de ChatGPT et généralement plus de 400 mots pour les exemples humains, le détecteur de sortie a mal attribué 20 documents, alors que la méthode décrite ici n'en a mal attribué qu'un seul sur un total de 372 exemples de documents complets.

Source : Cell Reports Physical Science

Et vous ?