Les détecteurs d'IA étiquettent mal les travaux des étudiants, selon un rapport de Bloomberg. Ces résultats confirment que les outils de détection de l'IA ne sont pas infaillibles et peuvent signaler à tort des contenus générés par des humains comme étant produits par l'IA. Cela présente également des risques potentiels pour les étudiants, qui peuvent être confrontés à de graves conséquences si leur travail est repéré par erreur par ces systèmes. Avec l’essor des outils d’intelligence artificielle comme ChatGPT, les enseignants et les institutions éducatives se retrouvent face à un défi inédit : comment distinguer les travaux écrits par des étudiants de ceux générés par des machines. Cette situation a conduit à l’utilisation croissante de vérificateurs de texte IA, mais ces outils posent des problèmes inattendus.
Pour éviter d’être accusés de tricherie, de nombreux étudiants modifient leur style d’écriture pour qu’il soit moins créatif et plus conforme aux attentes des vérificateurs de texte IA. Cela peut inclure l’utilisation de phrases courtes, de structures de phrases simples et de vocabulaire limité. En conséquence, les étudiants risquent de perdre leur voix unique et leur créativité, se conformant à un modèle d’écriture plus robotique.
Pourtant, de récents rapports confirment que les détecteurs d'IA "étiquettent mal les travaux des étudiants", ce qui donne lieu à de fausses accusations. Certains détecteurs d'IA accuseraient à tort des étudiants d'utiliser l'intelligence artificielle pour rendre des travaux et des copies d'examen. Selon des courriels consultés par Bloomberg Businessweek, une étudiante atteinte d'un trouble du spectre autistique a déclaré qu'elle avait tendance à écrire de manière formelle, ce qui a été interprété à tort comme étant généré par l'IA. Elle a donc reçu un avertissement écrit pour avoir prétendument plagié son travail.
Bloomberg a effectué un test sur 500 demandes d'admission à l'université Texas A&M avant la publication de ChatGPT, en utilisant des services de détection d'IA tels que Copyleaks et GPTZero. Ces services ont signalé 1 à 2 % de ces demandes comme étant "probablement" rédigées par l'IA, et certaines ont été étiquetées avec une certitude de 100 %. La précision des détecteurs d'IA a été mise en doute, car bon nombre de ces applications ont été écrites par des humains et ne font partie d'aucun ensemble de données utilisé pour former des modèles de langage.
Bien que l'échantillon testé soit petit, il met en évidence un problème plus large. Les outils de détection de l'IA ne sont pas infaillibles et peuvent signaler à tort des contenus générés par des humains comme étant produits par l'IA. Cela présente également des risques potentiels pour les étudiants, qui peuvent être confrontés à de graves conséquences si leur travail est repéré par erreur par ces systèmes.
Par exemple, une étude réalisée en 2023 par l'université de Stanford a révélé que les détecteurs d'IA avaient identifié plus de la moitié des essais rédigés par des étudiants dont l'anglais n'était pas la langue maternelle comme étant générés par l'IA. Ethan Mollick, professeur de gestion à l'université de Pennsylvanie (Wharton), a critiqué ces outils sur le site X. Il a déclaré : "Il est moralement répréhensible d'utiliser des détecteurs d'IA lorsqu'ils produisent des faux positifs qui salissent les étudiants d'une manière qui leur fait du tort et pour laquelle ils ne peuvent jamais prouver leur innocence."
Le rapport cite également le cofondateur de Copyleaks, qui a reconnu qu'aucun système de détection n'est précis à 100 % et qu'il devrait être utilisé pour repérer des tendances, et non des réponses définitives. Alon Yamin a ajouté : "Nous expliquons clairement aux institutions universitaires que rien n'est sûr à 100 % et que le système doit être utilisé pour identifier les tendances dans les travaux des étudiants. Il s'agit en quelque sorte d'un signal d'alarme qu'ils doivent examiner et utiliser pour discuter avec les étudiants."
De même, le cofondateur de GPTZero, Edward Tian, a admis que les détecteurs d'IA ont des "angles morts", ajoutant que son entreprise a fait des progrès dans l'atténuation des résultats pour les étudiants d'anglais langue seconde en particulier. OpenAI a également déclaré récemment qu'elle s'était abstenue de publier un outil de détection de l'écriture par l'IA, craignant qu'il n'ait un impact disproportionné sur certains groupes, tels que les étudiants d'anglais langue seconde.
Alon Yamin, PDG et cofondateur de Copyleaks, a commenté le rapport :
Chez Copyleaks, nous comprenons l'impact profond que de fausses accusations peuvent avoir sur la carrière universitaire d'un étudiant, et nous assumons cette responsabilité avec le plus grand sérieux. Bien que notre détecteur d'IA soit précis à plus de 99 %, avec un taux de faux positifs de 0,6 %, le plus bas du marché, aucune technologie n'est parfaite, quel que soit le secteur d'activité. En fait, de nombreux autres services utilisés quotidiennement présentent des taux de faux positifs plus élevés, qu'il s'agisse de technologies pour les diagnostics médicaux, de produits pharmaceutiques, de modèles de notation de crédit ou de systèmes de navigation, et pourtant nous continuons à les utiliser et à leur faire confiance.
Bien que le test de Bloomberg ait révélé un taux de faux positifs de 1 à 2 % dans la détection de textes générés par l'IA, il est important de noter qu'aucun outil de détection n'est infaillible, en particulier lorsqu'il s'agit de contenus antérieurs à ChatGPT. Nous améliorons continuellement notre précision grâce à l'apprentissage automatique. Néanmoins, quelle que soit la précision d'un outil, nous encouragerons toujours les éducateurs à utiliser ces outils comme un guide plutôt que comme un outil définitif de contrôle et de jugement. Notre objectif est de favoriser un dialogue ouvert entre les enseignants et les élèves lorsque l'utilisation potentielle de l'IA est signalée, offrant ainsi la possibilité de mieux comprendre le travail des élèves et les processus d'apprentissage. La détection de l'IA devrait être un outil de croissance, et non un obstacle, garantissant l'équité et la transparence du processus académique.
Bien que le test de Bloomberg ait révélé un taux de faux positifs de 1 à 2 % dans la détection de textes générés par l'IA, il est important de noter qu'aucun outil de détection n'est infaillible, en particulier lorsqu'il s'agit de contenus antérieurs à ChatGPT. Nous améliorons continuellement notre précision grâce à l'apprentissage automatique. Néanmoins, quelle que soit la précision d'un outil, nous encouragerons toujours les éducateurs à utiliser ces outils comme un guide plutôt que comme un outil définitif de contrôle et de jugement. Notre objectif est de favoriser un dialogue ouvert entre les enseignants et les élèves lorsque l'utilisation potentielle de l'IA est signalée, offrant ainsi la possibilité de mieux comprendre le travail des élèves et les processus d'apprentissage. La détection de l'IA devrait être un outil de croissance, et non un obstacle, garantissant l'équité et la transparence du processus académique.
Source : Bloomberg Businessweek
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
Les détecteurs d'IA sont biaisés par rapport aux rédacteurs dont l'anglais n'est pas la langue maternelle. Leur fiabilité est remise en question : le contenu de ChatGPT n'est pas détecté Qui a utilisé ChatGPT, Claude, ou encore Bard pour ses créations ? Quelle est l'efficacité réelle des détecteurs de contenu IA ? Les réponses dans un sujet de recherche universitaire Écriture académique à l'ère de l'IA : progrès ou problème ? Les étudiants rédigent probablement des millions d'articles à l'aide de l'IA, selon une étude menée par Turnitin