IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

IA et examens universitaires : les examinateurs ne parviennent pas à repérer les réponses de ChatGPT lors d'un test en situation réelle
Les réponses de l'IA sont passées inaperçues dans 94 % des cas

Le , par Stéphane le calme

10PARTAGES

5  0 
Dans un test rigoureux du système d’examens universitaires en conditions réelles, publié récemment dans la revue PLOS ONE, les réponses d’examen générées par ChatGPT, soumises pour plusieurs modules de psychologie de premier cycle, sont passées inaperçues dans 94 % des cas et ont obtenu en moyenne des notes plus élevées que les soumissions d’étudiants réels. Les réponses générées par l’IA ont été soumises aux côtés du travail d’étudiants réels et représentaient en moyenne 5 % des copies totales évaluées par les enseignants. Les correcteurs n’étaient pas informés qu’ils vérifiaient le travail de 33 faux étudiants, dont les noms étaient eux-mêmes générés par ChatGPT.

L’utilisation de l’intelligence artificielle (IA) dans l’évaluation universitaire suscite à la fois enthousiasme et inquiétude. D’un côté, elle promet d’améliorer l’efficacité des évaluations, de réduire la charge de travail des enseignants et d’offrir des retours plus rapides aux étudiants. D’un autre côté, elle soulève des questions sur l’intégrité académique, la triche et la confiance dans le système d’évaluation.

L’expérience de l’Université de Reading

Une étude récente menée à l’Université de Reading a examiné l’efficacité de l’IA dans l’évaluation des examens universitaires. Les chercheurs ont soumis les réponses générées par ChatGPT pour plusieurs modules de psychologie de premier cycle, aux côtés du travail d’étudiants réels. Les résultats ont été surprenants : les réponses de l’IA sont passées inaperçues dans 94 % des cas et ont obtenu en moyenne des notes plus élevées que celles des étudiants réels.

Peter Scarfe, de l'université de Reading (Royaume-Uni), et ses collègues ont utilisé ChatGPT pour produire des réponses à 63 questions d'évaluation portant sur cinq modules de la licence de psychologie de l'université. Les étudiants ont passé ces examens chez eux, ce qui leur a permis de consulter des notes et des références, et ils auraient pu utiliser l'IA, mais cela n'était pas autorisé.

Les réponses générées par l'IA ont été soumises en même temps que les travaux de vrais étudiants et représentaient, en moyenne, 5 % de l'ensemble des copies corrigées par les universitaires. Les correcteurs n'étaient pas informés qu'ils vérifiaient le travail de 33 faux étudiants, dont les noms étaient eux-mêmes générés par ChatGPT.

Les évaluations comprenaient deux types de questions : des réponses courtes et des dissertations plus longues. Les instructions données à ChatGPT commençaient par les mots « Inclure des références à la littérature académique mais pas une section de référence séparée », puis copiaient la question de l'examen.

Sur l'ensemble des modules, seuls 6 % des soumissions d'IA ont été signalées comme n'étant pas le travail de l'étudiant - même si, dans certains modules, aucun travail généré par l'IA n'a été signalé comme suspect. « En moyenne, les réponses de l'IA ont obtenu de meilleures notes que les travaux de nos vrais étudiants », précise Scarfe, bien qu'il y ait une certaine variabilité d'un module à l'autre.

« L'IA actuelle a tendance à éprouver des difficultés avec le raisonnement abstrait et l'intégration de l'information », ajoute-t-il. Mais sur l'ensemble des 63 travaux d'IA, il y avait 83,4 % de chances que le travail de l'IA soit supérieur à celui des étudiants.

Les chercheurs affirment que leurs travaux constituent l'étude la plus vaste et la plus solide de ce type à ce jour. Bien que l'étude n'ait porté que sur les travaux réalisés dans le cadre du diplôme de psychologie de l'université de Reading, Scarfe estime qu'il s'agit d'une préoccupation pour l'ensemble du secteur universitaire. « Je n'ai aucune raison de penser que d'autres disciplines ne seraient pas confrontées au même type de problème », déclare-t-il.

« Les résultats montrent exactement ce que je m'attendais à voir », a déclaré Thomas Lancaster, de l'Imperial College de Londres. « Nous savons que l'IA générative peut produire des réponses raisonnables à des questions textuelles simples et limitées ». Il souligne que les évaluations non supervisées comprenant des réponses courtes ont toujours été susceptibles de donner lieu à des tricheries.

La charge de travail des universitaires chargés de corriger les travaux ne les aide pas non plus à déceler les erreurs de l'IA. « Il est très peu probable que les correcteurs de questions à réponses courtes, pressés par le temps, soulèvent des cas de mauvaise conduite de l'IA sur un coup de tête », estime Lancaster. « Je suis sûr que ce n'est pas la seule institution où cela se produit ».

Selon Scarfe, il sera pratiquement impossible de s'attaquer au problème à la source. Le secteur doit donc plutôt reconsidérer ce qu'il évalue. « Je pense qu'il faudra que l'ensemble du secteur reconnaisse le fait que nous allons devoir intégrer l'IA dans les évaluations que nous faisons subir à nos étudiants », déclare-t-il.


Le pourcentage d'étudiants utilisant ChatGPT pour rédiger leurs devoirs et d'enseignants pour les corriger a augmenté selon un rapport

Lorsque Diane Gayeski, professeur de communication stratégique à l'Ithaca College, reçoit une dissertation de l'un de ses étudiants, elle la soumet en partie à ChatGPT, en demandant à l'outil d'IA de la critiquer et de lui suggérer des moyens de l'améliorer. « La meilleure façon de considérer l'IA pour la notation est de la considérer comme un assistant d'enseignement ou un assistant de recherche qui pourrait faire un premier passage... et elle fait un très bon travail à cet égard », a-t-elle déclaré.

Elle montre à ses élèves les commentaires de ChatGPT et la façon dont l'outil a réécrit leur essai. « Je leur fais part de ce que je pense de leur introduction et nous en discutons », assure-t-elle. Gayeski demande à sa classe de 15 élèves de faire la même chose : passer leur projet par ChatGPT pour voir où ils peuvent apporter des améliorations.

L'émergence de l'IA est en train de remodeler l'éducation, présentant de réels avantages, tels que l'automatisation de certaines tâches afin de libérer du temps pour un enseignement plus personnalisé, mais aussi des risques importants, qu'il s'agisse de problèmes liés à la précision, au plagiat ou au maintien de l'intégrité.

Les enseignants comme les élèves utilisent les nouvelles technologies. Un rapport de la société de conseil en stratégie Tyton Partners, parrainé par la plateforme de détection du plagiat Turnitin, révèle que la moitié des étudiants se sont servi des outils d'IA à l'automne 2023. Parallèlement, bien que moins de membres du corps enseignant utilisent l'IA, le pourcentage a augmenté pour atteindre 22 % des membres du corps enseignant à l'automne 2023, contre 9 % au printemps 2023.

Les enseignants se tournent vers des outils et des plateformes d'IA - tels que ChatGPT, Writable, Grammarly et EssayGrader - pour les aider à corriger les copies, à rédiger des commentaires, à élaborer des plans de cours et à créer des devoirs. Ils utilisent également ces outils en plein essor pour créer des quiz, des sondages, des vidéos et des éléments interactifs afin d'améliorer les attentes en classe. Les étudiants, quant à eux, s'appuient sur des outils tels que ChatGPT et Microsoft CoPilot - qui est intégré dans Word, PowerPoint et d'autres produits.

Mais si certaines écoles ont élaboré des politiques sur la manière dont les élèves peuvent ou ne peuvent pas utiliser l'IA pour leurs travaux scolaires, beaucoup n'ont pas de lignes directrices à l'intention des enseignants. La pratique consistant à utiliser l'IA pour rédiger des commentaires ou noter des devoirs soulève également des questions d'ordre éthique. Les parents et les étudiants qui dépensent déjà des centaines de milliers de dollars en frais de scolarité peuvent se demander si une boucle de rétroaction sans fin de contenus générés et notés par l'IA à l'université vaut la peine d'y consacrer du temps et de l'argent.

« Si les enseignants l'utilisent uniquement pour noter et que les étudiants l'utilisent uniquement pour produire un produit final, cela ne fonctionnera pas », a déclaré Gayeski.

Source : Un test réel d'infiltration d'intelligence artificielle dans un système d'examens universitaires : une étude de cas du "test de Turing"

Et vous ?

Êtes-vous pour ou contre l'utilisation de l'IA pour faire ses devoirs ? Pour ou contre l'utilisation de l'IA pour les corriger ?
L’éthique de l’utilisation de l’IA dans l’éducation : Comment pouvons-nous équilibrer l’utilisation de l’IA pour améliorer l’efficacité des évaluations tout en évitant la triche et en préservant l’intégrité académique ?
La responsabilité des enseignants et des institutions : Dans quelle mesure les enseignants devraient-ils être responsables de détecter la fraude de l’IA ? Quelles mesures peuvent être mises en place pour les soutenir dans cette tâche ?
Transparence et confiance : Comment pouvons-nous garantir que les étudiants ont confiance dans le système d’évaluation, même lorsque l’IA est impliquée ? Quelles informations devraient être divulguées aux étudiants concernant l’utilisation de l’IA ?
Évolution des compétences d’évaluation : Les enseignants doivent-ils acquérir de nouvelles compétences pour évaluer le travail généré par l’IA ? Comment pouvons-nous les former efficacement ?
Limites de l’IA : Quelles sont les limites actuelles de l’IA en matière d’évaluation ? Comment pouvons-nous les surmonter pour garantir des évaluations justes et précises ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de totozor
Membre expert https://www.developpez.com
Le 11/07/2024 à 7:13
Les travailleurs africains à l'origine de la révolution de l'IA : une réalité de conditions éprouvantes et [...] pour environ un dollar de l'heure
Pendant que les société d'IA lèvent des millions de dollar d'investissement.
4  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 11/07/2024 à 11:20
Citation Envoyé par totozor Voir le message
Les travailleurs africains à l'origine de la révolution de l'IA : une réalité de conditions éprouvantes et [...] pour environ un dollar de l'heure
Pendant que les société d'IA lèvent des millions de dollar d'investissement.
Si je lis bien, l'émergence de l'IA est basée sur l'esclavage.
3  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 09/07/2024 à 12:24
Citation Envoyé par Anthony Voir le message
VALL-E 2 : la nouvelle technologie vocale d'IA de Microsoft atteint pour la première fois la parité avec l'humain, elle est si aboutie que par peur d'une utilisation abusive, elle ne sera pas encore publiée
Alors que l'intelligence artificielle, on peut créer des virus avec, mais ça ne pose pas de problème.
C'est quoi la différence ?
Les remarques émises au sujet de l'intelligence artificielle ont fini par être entendues, ou la synthèse vocale est tellement mieux aboutie ? Ou retarder sa parution aide à promouvoir cette idée ?

Il était question d'un moratoire sur l'IA, je n'ai pas bien suivi, ça ...
2  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 09/07/2024 à 12:27
Citation Envoyé par VBurel Voir le message
Soit plus de 50 milliards investis dans les startup pour seconde trimestre 2024 !?

Et pendant ce temps, l'Europe a investi combien dans les IT ? juste par curiosité :-)

au moins 1 milliard depuis le début de l'année, rassurez nous ! ?
Dans quel but, exactement ?
Un projet va fonctionner mieux parce qu'il est financé par l'Europe ?
2  0 
Avatar de VBurel
Membre averti https://www.developpez.com
Le 09/07/2024 à 15:52
Citation Envoyé par Gluups Voir le message
Dans quel but, exactement ?
Un projet va fonctionner mieux parce qu'il est financé par l'Europe ?
Quel projet ? :-)
1  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 09/07/2024 à 15:56
Sachez qu'il y a plein de startups Françaises qui se font racheter par des grosses entreprises US.
Donc il y a des bonnes startups dans les nations européennes.

Et dans les 27,1 milliards de dollars qui ont été investit dans les startups du secteur de l'IA aux États-Unis d’avril à juin, il y a probablement une partie non négligeable qui vient d'investisseurs basés dans des nations européennes.
1  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 10/07/2024 à 7:03
Citation Envoyé par VBurel Voir le message
Quel projet ? :-)
C'est encore mieux.
1  0 
Avatar de Jules34
Membre chevronné https://www.developpez.com
Le 10/07/2024 à 10:38
Citation Envoyé par VBurel Voir le message
Et pendant ce temps, l'Europe a investi combien dans les IT ? juste par curiosité :-)
C'est clair que l'Europe a un grand intérêt à investir dans des startup qui seront rachetés par des américains dès qu'elles deviendront viables.

Comme Silae, Drivy, EFront, People Doc ou Zenly le champion de la géolocalisation racheté par Snapchat !

D'une manière générale les fonds américains représentent environ 40 % des fonds investis dans les startup Française, qui n'ont donc de Français que le numéro au RCS...

Avant de jeter l'argent par les fenêtres il faut avoir un projet pour le pays et les Français. L'idéal serait d'avoir un projet qui serait un peu différent du projet actuel, à savoir faire payer la TVA et les impôts aux idiots de salariés et laisser toute les richesses partir du pays.

La "startup nation" de Macron quoi.
1  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 11/07/2024 à 12:43
A titre de comparaison : https://www.combien-coute.net/cout-de-la-vie/kenya/

En moyenne, le coût de la vie au Kenya en 2024 est 43% moins important qu'en France.

Le salaire mensuel moyen est de : 362€
1L d'essence coûte : 1.5€
Un déjeuner au restaurant : 3.6€
Le prix d'une place de cinéma est 5.8€
La location d'un appartement dans le centre-ville coûte 850€/mois
En moyenne, le prix pour se loger à l'hôtel au Kenya est 54% moins cher par rapport à la France
Le coût de la vie pour habiter (logement, abonnements...) au Kenya est en moyenne 51% moins cher par rapport à la France
Je me suis dit que le niveau de vie était pas forcément le même et j'ai, vite fait, vérifié à quel point, c'est sur que c'est pas pareil qu'en France, en revanche quand on compare le salaire moyen avec le cout de la vie, ça a bien l'air misérable de vivre au Kenya.
1  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 12/07/2024 à 20:37
Citation Envoyé par Gluups Voir le message
Si je lis bien, l'émergence de l'IA est basée sur l'esclavage.
Oui. Et pas uniquement en Afrique: le passage sur la classification des données pour l'IA est dans la dernière partie.
1  0