Un professeur de l'université de Caroline du Sud a tiré la sonnette d'alarme après avoir découvert que l'un de ses étudiants a utilisé ChatGPT, le nouveau chatbot d'IA du laboratoire OpenAI, pour rédiger sa dissertation. Pour le professeur, cette IA, vielle de quelques semaines à peine et facilement accessible au public, porte un nouveau coup à l'enseignement supérieur, déjà en proie à une tricherie endémique. Les propositions de solutions se multiplient pour endiguer le problème. Parmi elles, celle d'un étudiant de Princeton : une application qui vise à savoir si des essais ont été écrits par des IA comme ChatGPT. L'application analyse le texte pour voir à quel point il est écrit de manière aléatoire, ce qui lui permet de détecter s'il a été écrit par l'IA. Le site Web hébergeant l'application, construit par Edward Tian, a planté en raison d'un trafic élevé.
En lançant ChatGPT début décembre, OpenAI n'a sans doute pas pensé à la façon dont son modèle d'IA pourrait être détourné ou à la façon dont il pourrait impacter le monde. ChatGPT a tout de suite attiré l'attention de tous et serait même parvenu à s'introduire dans des endroits auxquels beaucoup ne s'y attendaient pas. À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.
« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.
« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.
Tout d'abord, il a introduit le texte suspect dans un logiciel conçu par les producteurs de ChatGPT pour déterminer si la réponse écrite avait été formulée par l'IA. Il a obtenu une correspondance probable à 99,9 %. Mais contrairement à un logiciel standard de détection du plagiat - ou à un devoir universitaire bien rédigé - le logiciel ne proposait aucune citation. Hick a ensuite essayé de produire le même essai en posant à ChatGPT une série de questions qu'il imaginait avoir été posées par son étudiant. Le professeur affirme avoir obtenu des réponses similaires, mais aucune correspondance directe, car l'outil formule des réponses uniques.
Finalement, Hick a confronté l'étudiant, qui a avoué avoir utilisé ChatGPT et a échoué au cours en conséquence. L'étudiant a également été remis au doyen de l'école. Mais Hick craint que d'autres cas soient presque impossibles à prouver et que lui et ses collègues soient bientôt inondés de travaux frauduleux. Des universités comme Furman chercheraient à établir des protocoles académiques formels pour cette technologie en développement. Pour l'instant, Hick dit que le mieux qu'il peut faire est de surprendre les étudiants suspects avec des examens oraux impromptus, en espérant les prendre au dépourvu sans leur armure technologique.
Vient alors GPTZero
Une nouvelle application peut détecter si votre essai a été écrit par ChatGPT, car les chercheurs cherchent à lutter contre le plagiat de l'IA. Edward Tian, étudiant en informatique à Princeton, a déclaré avoir passé la période des vacances à développer GPTZero.
Il a partagé deux vidéos comparant l'analyse de l'application d'un article du New Yorker et une lettre écrite par ChatGPT. Il a correctement identifié qu'ils ont été respectivement écrits par un humain et une IA.
GPTZero note le texte sur sa « perplexité et sa rafale [burstiness] » (se référant à sa complexité et à son écriture aléatoire). Dans les statistiques, la rafale [burstiness] est l'augmentation et la diminution intermittentes de l'activité ou de la fréquence d'un événement. L'une des mesures de la rafale est le facteur Fano, un rapport entre la variance et la moyenne des comptages.
L'application était si populaire qu'elle a planté « en raison d'un trafic Web étonnamment élevé » et affiche actuellement une page d'inscription bêta. GPTZero est toujours disponible sur la page Streamlit de Tian, après que les hébergeurs du site Web sont intervenus pour augmenter sa capacité.here's a demo with @nandoodles's Linkedin post that used ChatGPT to successfully respond to Danish programmer David Hansson's opinions pic.twitter.com/5szgLIQdeN
— Edward Tian (@edward_the6) January 3, 2023
Tian, un ancien journaliste de données de la BBC, a déclaré qu'il était motivé pour construire GPTZero après avoir constaté une augmentation des cas de plagiat de l'IA.
« Les enseignants du secondaire voudront-ils que les élèves utilisent ChatGPT pour écrire leurs essais d'histoire ? Probablement pas », a-t-il tweeté.
ChatGPT met en place son propre système de lutte contre le plagiat en facilitant l'identification
Alors que les milieux universitaires craignent de plus en plus ce nouveau chatbot IA capable de rédiger des essais convaincants (même si certains faits qu'il utilise ne sont pas strictement vrais), la société de la Silicon Valley à l'origine du chatbot s'est dépêchée de faire du fingerprinting de sortie pour éviter une vague de plagiat assisté par l'IA.
ChatGPT, un générateur de texte basé sur l'IA qui a été mis à la disposition du public début décembre, a été loué et critiqué pour la qualité de sa sortie. Les utilisateurs peuvent lui poser des questions allant de simples requêtes factuelles (« Quelle est la plus haute montagne de France ? ») à des demandes absurdes (« Écris un limerick [poème humoristique de cinq vers] expliquant la règle du hors-jeu ») et recevoir des réponses claires et cohérentes rédigées en anglais naturel.
Les chefs d'établissement et les professeurs d'université ont exprimé leur inquiétude quant au fait que ChatGPT, qui peut fournir des réponses convaincantes à consonance humaine aux questions d'examen, pourrait déclencher une vague de tricherie dans les devoirs et les cours d'examen.
Aussi, les développeurs du bot, OpenAI, basé à San Francisco, tentent de contrer le risque en « filigranant » la sortie du bot et en rendant le plagiat plus facile à repérer.
Lors d'une conférence à l'Université du Texas, le chercheur invité d'OpenAI, Scott Aaronson, a déclaré que l'entreprise travaillait sur un système pour contrer la triche en « marquant statistiquement les sorties ». La technologie fonctionnerait en modifiant subtilement le choix spécifique des mots sélectionnés par ChatGPT, a déclaré Aaronson, d'une manière qui ne serait pas perceptible pour un lecteur, mais serait statistiquement prévisible pour quiconque recherche des signes de texte généré par une machine.
« Nous voulons qu'il soit beaucoup plus difficile de prendre une sortie GPT et de la faire passer comme si elle provenait d'un humain », a déclaré Aaronson. « Cela pourrait être utile pour prévenir le plagiat universitaire, évidemment, mais aussi, par exemple, la génération massive de propagande - vous savez, spammer chaque blog avec des commentaires apparemment sur le sujet soutenant l'invasion de l'Ukraine par la Russie sans même un bâtiment plein de trolls à Moscou. Ou se faire passer pour quelqu'un en imitant son style d'écriture afin de l'incriminer ».
« Nous avons en fait un prototype fonctionnel du schéma de filigrane », a ajouté Aaronson. « Cela semble fonctionner assez bien - empiriquement, quelques centaines [de mots] semblent être suffisants pour obtenir un signal raisonnable que, oui, ce texte provient de GPT ».
Le bot ne fonctionne pas parfaitement. Il a tendance à « colorer » des évènements qui ne sont pas strictement vrais, ce que l'analyste technologique Benedict Evans a décrit « comme un étudiant de premier cycle répondant avec confiance à une question pour laquelle il n'a assisté à aucune conférence. Cela ressemble à un connerie confiante qui peut écrire des bêtises très convaincantes ».
Mais la technologie a été adoptée avec empressement par exactement ce type d'étudiant, qui doit produire rapidement un essai passable. La sortie de ChatGPT n'a déclenché aucun détecteur de plagiat conventionnel jusqu'à présent, car le texte qu'il produit n'a pas été écrit auparavant, laissant les évaluateurs du mal à trouver comment identifier les tricheurs.
Conclusion
ChatGPT est l’un des phénomènes Internet de l’heure tant les internautes s’émerveillent de ses « aptitudes ». Certains le qualifient même de remplaçant de Google étant donné qu’il est capable de donner de façon directe des solutions à des problèmes complexes. Par exemple, ChatGPT a réussi l’édition 2022 de l’examen d’informatique pour élèves du secondaire désireux d’obtenir des crédits universitaires aux États-Unis. Cette édition de l’examen d’informatique pour élèves du secondaire désireux d’obtenir des crédits universitaires US porte sur 4 questions. Les postulants sont libres de formuler les réponses de la manière qui leur convient. Un internaute a proposé une compilation des réponses proposées par ChatGPT après avoir souligné que l’intelligence artificielle a pris 32 points sur les 36 possibles.
| Code Java : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 | // 1a public int getScore() { int score = 0; * // Check if this is a bonus game if (isBonus()) { // If it is, triple the final score score = 3; } * // Iterate through each level for (int i = 1; i <= 3; i++) { // Check if the goal for the current level has been reached if (level[i].goalReached()) { // If it has, add the points for that level to the score score += level[i].getPoints(); } } * // Return the final score return score; } * // 1b public int playManyTimes(int num) { // Keep track of the highest score seen so far int highestScore = 0; * // Iterate for the number of games specified in the num parameter for (int i = 0; i < num; i++) { // Create a new game Game game = new Game(); * // Simulate the play of the game game.play(); * // Compute the score for the game int score = game.getScore(); * // If the score for this game is higher than the highest score seen so far, // update the highest score if (score > highestScore) { highestScore = score; } } * // Return the highest score seen return highestScore; } * // 2 public class Textbook extends Book { private int edition; * /** * Creates a new Textbook with given title, price, and edition number. * * @param bookTitle the title of the textbook * @param bookPrice the price of the textbook * @param bookEdition the edition number of the textbook */ public Textbook(String bookTitle, double bookPrice, int bookEdition) { super(bookTitle, bookPrice); this.edition = bookEdition; } * /** * Returns the edition number of the textbook. * * @return the edition number of the textbook */ public int getEdition() { return edition; } * /** * Returns the title, price, and edition number of the Textbook as a string. * * @return the title, price, and edition number of the Textbook as a string */ @Override public String getBookInfo() { return super.getBookInfo() + "-" + edition; } * /** * Returns true if this Textbook is a valid substitute for the Textbook referenced by the parameter * of the canSubstituteFor method. Returns false otherwise. * * @param other the Textbook to compare to this Textbook * @return true if this Textbook is a valid substitute for the Textbook referenced by the parameter * of the canSubstituteFor method, false otherwise */ public boolean canSubstituteFor(Textbook other) { return this.getTitle().equals(other.getTitle()) && this.getEdition() >= other.getEdition(); } } * // 3a * public double getAverageRating() { double totalRating = 0; int numReviews = allReviews.length; * for (Review review : allReviews) { totalRating += review.getRating(); } * return totalRating / numReviews; } * // 3b * public ArrayList<String> collectComments() { ArrayList<String> formattedComments = new ArrayList<>(); * for (int i = 0; i < allReviews.length; i++) { String comment = allReviews[i].getComment(); if (comment.contains("!")) { formattedComments.add(i + "-" + comment); * if (!(comment.endsWith(".") || comment.endsWith("!"))) { formattedComments.set(formattedComments.size() - 1, formattedComments.get(formattedComments.size() - 1) + "."); } } } * return formattedComments; } * // 4a * public void repopulate() { Random rand = new Random(); for (int i = 0; i < grid.length; i++) { for (int j = 0; j < grid[i].length; j++) { int val = rand.nextInt(MAX - 1) + 1; while (val % 10 != 0 || val % 100 == 0) { val = rand.nextInt(MAX - 1) + 1; } grid[i][j] = val; } } } * // 4b * public int countIncreasingCols() { int count = 0; for (int i = 0; i < grid[0].length; i++) { boolean isIncreasing = true; for (int j = 1; j < grid.length; j++) { if (grid[j][i] < grid[j - 1][i]) { isIncreasing = false; break; } } if (isIncreasing) { count++; } } return count; } |
Le chatbot ravive ainsi les débats sur la possible disparition du métier de développeur en raison de la montée en puissance de l’IA. Se sentant en danger, Google a lancé une alerte rouge à ses équipes pour développer un concurrent à ChatGPT.
Par ailleurs, ce n'est pas la première fois qu'un modèle d'IA d'OpenAI est utilisé pour tenter de tromper la vigilance des gens, parfois même des personnes les plus avisées. En août 2020, un faux billet de blogue généré par GPT-3, une autre IA de traitement du langage naturel (NLP) d'OpenAI, a trompé des dizaines de milliers de personnes, car il était étonnamment bien écrit pour automate. Le billet de blogue, publié par Liam Porr, étudiant à l’université de Californie à Berkeley, s'est même hissé parmi les sujets les mieux classés sur le site communautaire Hacker News. Porr a déclaré qu'il voulait prouver que GPT-3 pouvait tromper les gens.
GPTZero page Streamlit d'Edward TianSources : Edward Tian (1, 2), Scott Aaronson
Et vous ?
Que pensez-vous de ChatGPT de façon générale ? Un tel outil devrait-il être autorisé au public de la sorte ou soumis à des restrictions comme DALL-E 2 ? Dans quelle mesure ? Comprenez-vous la réaction de Google qui, se sentant en danger, voudrait développer un produit concurrent ? 
Envoyé par Stéphane le calme
