Lyon : ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs.

« Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs »

À Lyon, un professeur a remarqué de curieuses similitudes dans les copies rendues par la moitié de ses étudiants; il leur avait donné une semaine pour rédiger leurs devoirs. Si les mots différaient, leurs structures démonstratives et leurs exemples sont restés constamment les mêmes. C’est en se renseignant auprès de ses élèves que l’un d’eux a fini par avouer l’utilisation de ChatGPT dans la rédaction.

À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.

« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.

« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.

Être capable de distinguer l'écriture produite par un humain ou une machine changera la façon dont ils peuvent être utilisés dans le milieu universitaire. Les écoles seraient en mesure d'appliquer plus efficacement l'interdiction des essais générés par l'IA, ou peut-être seraient-elles plus disposées à accepter des articles si elles pouvaient voir comment ces outils peuvent aider leurs élèves.


Premier cas connu en France de l'utilisation de ChatGPT en milieu universitaire ?

Le journal lyonnais Le Progrès nous fait déjà part d’un premier cas connu d’utilisation de l’IA chez les étudiants dans l'Hexagone.

Stéphane Bonvallet, enseignant en handicapologie (matière enseignée dans certains cursus de santé du secondaire), a demandé à ses élèves de faculté de Lyon de «*Définir les grands traits de l’approche médicale du handicap en Europe*». Il leur a laissé une semaine pour travailler sur le sujet.

Cependant, lors de la correction, il s'est aperçu que sept copies sur les quatorze de sa classe font appel à une construction identique, avancent des arguments qui se ressemblent, mais sans jamais tourner au plagiat : «*Il ne s’agissait pas de copier-coller. Mais les copies étaient construites exactement de la même manière*», relate-t-il. «*On y retrouvait les mêmes constructions grammaticales. Le raisonnement était mené dans le même ordre, avec les mêmes qualités et les mêmes défauts ».

Stéphane Bonvallet raconte au Progrès en avoir discuté directement avec une étudiante. Elle reconnaît alors que la moitié de la promotion de 14 élèves ont eu recours à ChatGPT.

Les étudiants n’ont pas reçu de blâme pour cet usage, puisque l’utilisation d'outil de la même trempe que ChatGPT n'est pas proscrit par le milieu scolaire : « n’ayant pas de cadre interdisant actuellement cette pratique, j’ai été contraint de les noter », explique-t-il au quotidien. Puisque les autres notes étaient comprises entre 10 et 12,5, le professeur a choisi d'attribuer la même note de 11,75 à tous ces travaux qui se sont appuyés sur ChatGPT.

En se renseignant auprès de ses collègues, il a fait le constat que ce cas était loin d’être isolé.

« Cette pratique m’inquiète. Elle pose un véritable problème d’intégration des savoirs, car les élèves n’ont plus besoin d’effectuer la moindre recherche pour composer », a regretté le professeur.

Les copies sont désormais en possession de la direction.

La ville de New York interdit aux étudiants et aux enseignants d'utiliser ChatGPT

« En raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu, l'accès à ChatGPT est prohibé sur les réseaux et les appareils des écoles publiques de la ville de New York », déclare un porte-parole du Département de l’éducation de la ville.

La controverse au sujet de cette décision tient au moins sur l’observation évidente que ChatGPT peut faire office de complément à un moteur de recherche. Décider d’en interdire l’accès revient donc à faire pareil avec des plateformes sur lesquels les étudiants sont aussi susceptibles de trouver des réponses à leurs évaluations : Wikipedia, Google, etc.

Oui, les modèles de langage génératif peuvent être bons mais ils ne savent pas de quoi ils parlent

Aussi impressionnant que puisse paraître l'écriture générée par l'IA dans les gros titres avec des conférences universitaires et des écoles interdisant les articles écrits par machine, voici un rappel qu'ils manquent de compréhension par rapport à la véritable écriture humaine.

Dans un éditorial publié dans Salon, Gary Smith, professeur d'économie au Pomona College, a présenté quelques exemples où GPT-3 ne parvient pas à raisonner et à répondre efficacement aux questions :

« Si vous jouez avec GPT-3 (et je vous encourage à le faire), votre réponse initiale sera probablement l'étonnement... Vous semblez avoir une vraie conversation avec une personne très intelligente. Cependant, en approfondissant, vous découvrirez bientôt que si le GPT-3 peut enchaîner des mots de manière convaincante, il n'a aucune idée de ce que signifient les mots », a-t-il écrit.

« Prédire que le mot terre est susceptible de suivre le groupe de mots tomber par ne nécessite aucune compréhension de ce que signifie l'un ou l'autre mot - seulement un calcul statistique que ces mots vont souvent ensemble. Par conséquent, GPT-3 est enclin à faire des déclarations faisant autorité qui sont finalement complètement fausses ».

Cela a-t-il été écrit par un robot ? Ces outils aident à détecter le texte généré par l'IA

C'est tellement difficile d'être un bot de nos jours. Juste au moment où vous pensiez que nous écririons tous avec l'IA d'ici à l'éternité, les ingénieurs ont commencé à développer de nouvelles façons de détecter si le texte a été écrit par ChatGPT ou un autre générateur de texte AI.

Voici trois outils de détection qui peuvent être utilisés dès maintenant (ou très bientôt).

Détecteur de sortie GPT-2

OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.

Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.

La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».

GLTR (Giant Language model Test Room)

Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.

Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.

GPTZero

Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.

Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité" plus le caractère aléatoire global ("burstiness" pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.

Filigrane (à venir)

En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.

« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.

Conclusion

Le plus grand débat tourne autour de la possibilité de voir les intelligences artificielles rendues au stade où elles sont dotées de « bon sens », capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. »

Google par exemple est lancé en secret sur le développement de Pitchfork, ou AI Developer Assistance. C’est un outil qui utilise l'apprentissage automatique pour apprendre au code à s'écrire et se réécrire lui-même. Comment ? En apprenant des styles correspondant à des langages de programmation, et en appliquant ces connaissances pour écrire de nouvelles lignes de code.

L’intention initiale derrière ce projet était de créer une plateforme capable de mettre automatiquement à jour la base de code Python chaque fois qu'une nouvelle version était publiée, sans nécessiter l'intervention ou l'embauche d'un grand nombre d'ingénieurs. Cependant, le potentiel du programme s'est avéré beaucoup plus important que prévu.

Désormais, l'intention est de donner vie à un système polyvalent capable de maintenir un standard de qualité dans le code, mais sans dépendre de l'intervention humaine dans les tâches de développement et de mise à jour. Un tel objectif pourrait ne plus relever de la science fiction lorsqu’on sait que des équipes de recherche en intelligence artificielle promettent déjà l’atteinte du stade d’intelligence artificielle générale dans 5 à 10 ans.

Source : Le Progrès

Et vous ?

Pour ou contre l'utilisation des outils comme ChatGPT en milieu scolaire ? Pourquoi ?