IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les détecteurs d'IA obligent les étudiants à adopter un style d'écriture dépourvu d'originalité pour éviter d'être accusés de tricherie
L'essor de ces outils cause des problèmes inattendus

Le , par Stéphane le calme

64PARTAGES

12  0 
Avec l’essor des outils d’intelligence artificielle comme ChatGPT, les enseignants et les institutions éducatives se retrouvent face à un défi inédit : comment distinguer les travaux écrits par des étudiants de ceux générés par des machines. Cette situation a conduit à l’utilisation croissante de vérificateurs de texte IA, mais ces outils posent des problèmes inattendus.

La peur des étudiants d'utiliser l'IA générative et la montée en puissance d'outils douteux de « vérification » de l'IA peuvent-elles créer une culture dépourvue de créativité ? C'est un sujet qui, curieusement, mérite d'être approfondi.

En début d'année, des articles ont émergé dans la presse parlant du projet de loi californien SB 942. Ce projet de loi obligerait les entreprises spécialisées dans l'IA à proposer gratuitement un outil de détection de l'IA, en dépit du fait que ces outils sont notoirement peu fiables et sujets à des absurdités. Comme indiqué dans la presse, le projet de loi adopte une approche « plus difficile pour les nerds » pour réglementer une technologie que ses partisans ne comprennent pas.

Le projet de loi SB 942 a continué à progresser et vient d'être adopté par l'Assemblée de Californie. Il est maintenant sur le bureau du gouverneur Newsom, qui pourrait le signer.

L’essor des vérificateurs de texte IA et les conséquences sur l’écriture des étudiants

Les vérificateurs de texte IA sont conçus pour détecter les contenus générés par des machines. Cependant, leur efficacité est souvent remise en question. Selon une étude récente, ces outils peuvent facilement être trompés et ont tendance à produire des faux positifs, accusant à tort des étudiants d’avoir utilisé des IA. Cette situation crée une pression sur les étudiants pour qu’ils écrivent de manière plus mécanique et prévisible, afin de ne pas être suspectés d’utiliser des outils d’IA.

Pour éviter d’être accusés de tricherie, de nombreux étudiants modifient leur style d’écriture pour qu’il soit moins créatif et plus conforme aux attentes des vérificateurs de texte IA. Cela peut inclure l’utilisation de phrases courtes, de structures de phrases simples et de vocabulaire limité. En conséquence, les étudiants risquent de perdre leur voix unique et leur créativité, se conformant à un modèle d’écriture plus robotique.


Le cas d'un parent

Ci-dessous les remarques d'un parent.

L'un de mes enfants avait un devoir d'anglais. Il devait lire la célèbre nouvelle de Kurt Vonnegut, Harrison Bergeron, et rédiger un court essai à son sujet. Comme j'écris beaucoup, mon enfant m'a demandé de relire son essai et de lui donner des conseils. J'ai fait quelques suggestions générales sur la manière d'améliorer la fluidité du texte, car il ressemblait beaucoup à un premier jet standard : un peu guindé. Mon fils est parti travailler sur une réécriture.

Si vous ne connaissez pas l'histoire de Harrison Bergeron, il s'agit d'une société qui cherche à imposer « l’égalité » en imposant des « handicaps » à tous ceux qui excellent dans quelque domaine que ce soit, afin de les ramener au plus petit dénominateur commun (par exemple, des masques laids pour les jolies personnes, l'obligation de porter des poids supplémentaires pour les personnes fortes). L'une des morales de cette histoire porte sur les dangers qu'il y a à vouloir imposer l'égalité d'une manière qui limite l'excellence et la créativité.

Plus tard dans la journée, le jeune est venu avec son Chromebook fourni par l'école, sur lequel Grammarly Pro est préinstallé. Les élèves sont encouragés à l'utiliser pour améliorer leur écriture. L'outil dispose notamment d'un « AI Checker » qui tente de déterminer si le texte soumis a été écrit par une IA.

Cet outil est similaire aux « vérificateurs de plagiat » qui existent depuis quelques décennies. En fait, le « contrôle » de Grammarly couvre à la fois l'IA et le plagiat (c'est du moins ce qu'il dit). Ces systèmes ont toujours eu des problèmes, notamment en ce qui concerne les faux positifs. Et il semble que les vérificateurs d'IA soient (sans surprise) pires.


Il s'avère que Grammarly n'a introduit cette fonctionnalité qu'il y a quelques semaines. Heureusement, l'annonce de Grammarly indique très clairement que la détection de l'IA est assez incertaine :

Les détecteurs d'IA sont une technologie émergente et inexacte. Lorsqu'un détecteur d'IA affirme avec certitude que le contenu analysé contient de l'IA, il n'agit pas de manière responsable. Aucun détecteur d'IA ne peut déterminer avec certitude si l'IA a été utilisée pour produire un texte. La précision de ces outils peut varier en fonction des algorithmes utilisés et du texte analysé.
Quoi qu'il en soit, le jeune voulait me montrer que lorsque le mot « devoid » (dépourvu, vide, sans) était utilisé, le vérificateur d'intelligence artificielle suggérait que l'essai était « rédigé à 18 % par l'intelligence artificielle ». La signification de ces 18 % n'est pas très claire. S'agit-il d'une « probabilité que cet essai ait été écrit par une IA » ou d'un « pourcentage de l'essai que nous pensons avoir été écrit par une IA » ? Mais, comme par magie, lorsque le mot « devoid » a été remplacé par « without » (sans), le score de l'IA est tombé à 0 %.

Dans son communiqué, Grammarly affirme qu'en raison de la fragilité de ces outils, il « fait les choses différemment » des autres outils de vérification de l'IA. Il affirme notamment que son propre outil est plus transparent :

La détection de l'IA de Grammarly montre aux utilisateurs quelle partie de leur texte, le cas échéant, semble avoir été générée par l'IA, et nous fournissons des conseils sur l'interprétation des résultats. Ce pourcentage ne répond pas forcément à la question de savoir « pourquoi » le texte a été signalé. Toutefois, il permet au rédacteur d'attribuer les sources de manière appropriée, de réécrire le contenu et d'atténuer le risque d'être accusé à tort de plagiat par l'IA. Cette approche est similaire à nos capacités de détection du plagiat, qui aident les rédacteurs à identifier et à réviser les plagiats potentiels, garantissant ainsi l'originalité et l'authenticité de leur travail.
Je peux vous dire que ce n'est pas vrai. Après que le jeune a continué à travailler sur son essai et a atteint un point où il pensait qu'il était en bonne forme, le vérificateur d'IA a indiqué qu'il était composé à 17 % d'IA, mais n'a donné aucune indication sur ce qui pourrait être généré par l'IA ou sur la raison de ce choix.

Pour être clair, la dissertation peut toujours être rendue. Rien n'indique que l'enseignant s'appuie sur le vérificateur d'IA, ni même qu'il l'utilise. Lorsque j'ai mentionné tout cela sur Bluesky, d'autres enseignants m'ont dit qu'ils savaient qu'il fallait ignorer tout score inférieur à 60 %, car il s'agissait probablement d'un faux positif. Mais mon enfant est raisonnablement troublé par le fait que si le vérificateur d'IA suggère que la dissertation semble avoir été écrite par une IA, cela pourrait signifier qu'il y a un problème avec la dissertation.

C'est à ce moment-là que nous avons commencé à chercher ce qui pouvait bien être à l'origine de ce score de 17 %. La cible immédiate était un vocabulaire plus avancé (le problème qui avait déjà été identifié avec « devoid »).

L'essai utilisait le mot « delve » (plonger), qui est maintenant devenu une sorte de punchline car il apparaît dans tous les travaux générés par l'IA.

Un cercle vicieux

Cette situation crée un cercle vicieux où les étudiants, pour éviter d’être accusés d’utiliser des IA, adoptent un style d’écriture qui ressemble de plus en plus à celui généré par des machines. Les vérificateurs de texte IA, en réponse, deviennent de plus en plus stricts, poussant les étudiants à se conformer encore davantage. Ce phénomène soulève des questions sur l’impact de la technologie sur l’éducation et sur la manière dont nous évaluons les compétences des étudiants.

Il faut dire que les outils de détection eux-mêmes présentent un risque de biais

Une étude réalisée en 2023 a révélé un taux de faux positifs de 61,3 % lors de l'évaluation des examens du Test of English as a Foreign Language (TOEFL) à l'aide de sept détecteurs d'intelligence artificielle différents. La société affirme qu'elle a entraîné son détecteur sur des textes rédigés par des apprenants d'anglais et par des anglophones de naissance.

Dans notre étude, nous avons évalué les performances de sept détecteurs GPT largement utilisés sur 91 essais TOEFL (Test of English as a Foreign Language) provenant d'un forum chinois et 88 essais d'élèves américains de quatrième (eight-grade) provenant de l'ensemble de données ASAP de la Fondation Hewlett. Alors que les détecteurs ont correctement classé les essais des étudiants américains, ils ont incorrectement étiqueté plus de la moitié des essais du TOEFL comme étant « générés par l'IA » (taux moyen de faux positifs : 61,3 %).

Tous les détecteurs ont unanimement identifié 19,8 % des essais du TOEFL écrits par des humains comme étant rédigés par des IA, et au moins un détecteur a signalé 97,8 % des essais du TOEFL comme étant générés par des IA. En y regardant de plus près, les essais TOEFL identifiés à l'unanimité présentaient une perplexité de texte significativement plus faible. La perplexité du texte est une mesure de la « surprise » ou de la « confusion » d'un modèle de langage génératif lorsqu'il tente de deviner le mot suivant dans une phrase. Si un modèle de langage génératif peut prédire facilement le mot suivant, la perplexité du texte est faible. En revanche, si le mot suivant est difficile à prédire, la perplexité du texte est élevée. La plupart des détecteurs GPT utilisent la perplexité du texte pour détecter les textes générés par l'IA, ce qui risque de pénaliser par inadvertance les auteurs non natifs qui utilisent une gamme plus limitée d'expressions linguistiques.

Vers une solution

Pour résoudre ce problème, il est essentiel de repenser notre approche de l’évaluation des travaux écrits. Plutôt que de se fier uniquement aux vérificateurs de texte IA, les enseignants pourraient adopter une approche plus holistique, en tenant compte du processus de rédaction et en encourageant les étudiants à développer leur propre style. De plus, il est crucial de sensibiliser les étudiants aux limites des outils d’IA et de les encourager à utiliser ces technologies de manière éthique et responsable.

En fin de compte, l’objectif devrait être de préserver la créativité et l’authenticité des étudiants tout en garantissant l’intégrité académique. Cela nécessite une collaboration entre les éducateurs, les développeurs de technologies et les étudiants pour créer un environnement d’apprentissage équilibré et équitable.

Sources : SB-942 California AI Transparency Act, Grammarly

Et vous ?

Pensez-vous que les vérificateurs de texte IA sont une solution efficace pour détecter la tricherie ? Pourquoi ou pourquoi pas ?
Comment les enseignants peuvent-ils encourager la créativité des étudiants tout en maintenant l’intégrité académique ?
Avez-vous déjà ressenti la pression de modifier votre style d’écriture pour éviter d’être accusé d’utiliser des outils d’IA ?
Quels sont les avantages et les inconvénients de l’utilisation des vérificateurs de texte IA dans l’éducation ?
Comment les institutions éducatives peuvent-elles équilibrer l’utilisation de la technologie et la préservation de l’authenticité des travaux des étudiants ?
Quelles alternatives aux vérificateurs de texte IA pourraient être mises en place pour évaluer les travaux écrits des étudiants ?
Pensez-vous que l’utilisation croissante des outils d’IA dans l’éducation pourrait changer la manière dont nous percevons la créativité et l’originalité ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de totozor
Expert confirmé https://www.developpez.com
Le 06/09/2024 à 14:29
Citation Envoyé par Stéphane le calme Voir le message
Pour éviter d’être accusés de tricherie, de nombreux étudiants modifient leur style d’écriture pour qu’il soit moins créatif et plus conforme aux attentes des vérificateurs de texte IA. Cela peut inclure l’utilisation de phrases courtes, de structures de phrases simples et de vocabulaire limité. En conséquence, les étudiants risquent de perdre leur voix unique et leur créativité, se conformant à un modèle d’écriture plus robotique.
Ce truc me fascine.
Donc pour éviter d'être suspecté d'utiliser un système fort peu créatif les élèves brident leur propre créativité?
Je comprends l'idée d'exploiter les mêmes mécaniques à chaque fois pour faire le moins d'effort sur une activité sur laquelle on risque d'être sanctionné. Mais l'uniformisation n'est elle pas un risque d'augmenter le risque de faux positif?
A l'époque ma technique était plus simple : si je risquais la punition je ne faisais rien comme ça je n'avais que la punition (dire que certains avaient travaillé et devaient faire la punition...)
Quoi qu'il en soit, le jeune voulait me montrer que lorsque le mot « devoid » (dépourvu, vide, sans) était utilisé, le vérificateur d'intelligence artificielle suggérait que l'essai était « rédigé à 18 % par l'intelligence artificielle ». La signification de ces 18 % n'est pas très claire. S'agit-il d'une « probabilité que cet essai ait été écrit par une IA » ou d'un « pourcentage de l'essai que nous pensons avoir été écrit par une IA » ? Mais, comme par magie, lorsque le mot « devoid » a été remplacé par « without » (sans), le score de l'IA est tombé à 0 %.
Ok donc si on utilise un terme peu fréquent notre évaluation passe immédiatement de "c'est pas une IA" à "il y a une chance sur 5 que ça soit une IA"
Je ne suis pas un défenseur radical de la recherche du terme exact mais sur certains sujets je peux être amené à faire cet effort.
Je pense d'ailleurs que l'utilisation adéquate d'un terme particulièrement précis devrait être une preuve de non utilisation de l'IA (ou d'utilisation acceptable parce que la précision a été affinée).
Cet exemple montre bien le manque de pertinence de ces outils.
C'est à ce moment-là que nous avons commencé à chercher ce qui pouvait bien être à l'origine de ce score de 17 %. La cible immédiate était un vocabulaire plus avancé (le problème qui avait déjà été identifié avec « devoid »).
L'essai utilisait le mot « delve » (plonger), qui est maintenant devenu une sorte de punchline car il apparaît dans tous les travaux générés par l'IA.
Voila le problème des corrélations, elle fournit des indices mais en rien des preuves.
Cependant ce que suggère leur expérience et qu'il y a des critères qui ont une portée limitée (vocabulaire soutenu <20%?) et qu'il faut multiplier les critères pour augmenter le score et que n'avoir qu'un gimmick limite le risque.
Mais je vois bien un prof donner 80% de la note en cas d'une suspicion de 20% ce qui pose de gros problèmes.
Pour résoudre ce problème, il est essentiel de repenser notre approche de l’évaluation des travaux écrits. Plutôt que de se fier uniquement aux vérificateurs de texte IA, les enseignants pourraient adopter une approche plus holistique, en tenant compte du processus de rédaction et en encourageant les étudiants à développer leur propre style. De plus, il est crucial de sensibiliser les étudiants aux limites des outils d’IA et de les encourager à utiliser ces technologies de manière éthique et responsable.
Ce texte risque d'avoir été écrit par une IA à 19%
Et je complèterait : De plus, il est crucial de sensibiliser les étudiants et les enseignants aux limites des outils d’IA et de les encourager à utiliser ces technologies de manière éthique et responsable.

Pensez-vous que les vérificateurs de texte IA sont une solution efficace pour détecter la tricherie ? Pourquoi ou pourquoi pas ?
Non.
Mais la vraie réponse est qu'utiliser un IA n'est pas forcément tricher.
Comment les enseignants peuvent-ils encourager la créativité des étudiants tout en maintenant l’intégrité académique ?
En encourageant les écrits originaux/personnels etc.
J'étais très mauvais en francais pourtant je me souviens clairement avoir fait une rédaction marquante juste après avoir vu American History X, par chance le sujet était lié à ce film (je ne me souviens plus de quelle façon).
J'ai eu un bonus ce jour là, parce que mon texte a incité la prof à aller voir le film.
Avez-vous déjà ressenti la pression de modifier votre style d’écriture pour éviter d’être accusé d’utiliser des outils d’IA ?
Non mon style était inimitable à l'époque et se résumait facilement : "Un seul point, tout à la fin, mais BEAUCOUP de virgules"
Quels sont les avantages et les inconvénients de l’utilisation des vérificateurs de texte IA dans l’éducation ?
Il n'y a AUCUN avantage
Comment les institutions éducatives peuvent-elles équilibrer l’utilisation de la technologie et la préservation de l’authenticité des travaux des étudiants ?
En évoluant autant qu'elle veut que les étudiants évoluent.
Quelles alternatives aux vérificateurs de texte IA pourraient être mises en place pour évaluer les travaux écrits des étudiants ?
La bonne vielle méthode : lire, corriger, commenter etc.
Pensez-vous que l’utilisation croissante des outils d’IA dans l’éducation pourrait changer la manière dont nous percevons la créativité et l’originalité ?
Oui
1  0 
Avatar de cobalt3d
Membre régulier https://www.developpez.com
Le 08/09/2024 à 12:04
L'Ia pompe les textes sur le net en masse sans les comprendre et peut ou pas les réinjecter dans une réponse. Mais un étudiant qui lirait les mêmes textes lui n'aurait plus le droit d'utiliser le vocabulaire qu'il aurait acquis alors qu'il les (les textes) a compris. Le problème c'est l'utilisation de la machine par le professeur et le manque de connaissance de ses étudiants. De toute façon, quoi qu'il arrive, il y en a au moins un des deux - étudiant/prof - qui fait mal son boulot à cause d'un outil inapproprié. C'est sans solution.
1  0 
Avatar de Fagus
Membre expert https://www.developpez.com
Le 09/09/2024 à 12:36
Citation Envoyé par cobalt3d Voir le message
C'est sans solution.
Partiels sur table en salle blindée + éducation à l' "IA."
1  0