Le chatbot IA GPT-4 surpasse les étudiants en matière de compétences linguistiques, redéfinissant ainsi l'avenir de l'éducation

D'après une étude de l'Université de Passau

Résumé
ChatGPT et les modèles d'IA générative similaires ont attiré des centaines de millions d'utilisateurs et sont devenus partie intégrante du discours public. Nombreux sont ceux qui pensent que ces modèles vont perturber la société et entraîner des changements significatifs dans le système éducatif et la production d'informations. Jusqu'à présent, cette conviction repose soit sur des témoignages familiers, soit sur des références fournies par les propriétaires des modèles, qui manquent tous deux de rigueur scientifique. Nous évaluons systématiquement la qualité du contenu généré par l'IA au moyen d'une étude à grande échelle comparant des essais argumentatifs d'étudiants rédigés par des humains à ceux générés par ChatGPT. Nous utilisons des essais qui ont été évalués par un grand nombre d'experts humains (enseignants). Nous complétons l'analyse en tenant compte d'un ensemble de caractéristiques linguistiques des essais générés. Nos résultats démontrent que ChatGPT génère des rédactions dont la qualité est jugée supérieure à celle des rédactions rédigées par des humains. Le style d'écriture des modèles d'IA présente des caractéristiques linguistiques différentes de celles des essais rédigés par des humains. La technologie étant facilement accessible, nous pensons que les éducateurs doivent agir immédiatement. Nous devons réinventer les devoirs et développer des concepts d'enseignement qui utilisent ces modèles d'IA de la même manière que les mathématiques utilisent la calculatrice : enseigner d'abord les concepts généraux, puis utiliser les outils d'IA pour libérer du temps pour d'autres objectifs d'apprentissage.

Conclusion
Nos résultats indiquent clairement que la crainte de nombreux professionnels de l'enseignement est justifiée : la manière dont les élèves font leurs devoirs et dont les enseignants les évaluent doit changer dans un monde de modèles d'IA génératifs. Pour les locuteurs non natifs, nos résultats montrent que lorsque les étudiants veulent maximiser leurs notes de dissertation, ils peuvent facilement le faire en s'appuyant sur les résultats de modèles d'IA comme ChatGPT. Les très bonnes performances des modèles d'IA indiquent que cela pourrait également être le cas pour les locuteurs natifs, bien que la différence de compétences linguistiques soit probablement plus faible. Cependant, ce n'est pas et ne peut pas être l'objectif de l'éducation. Par conséquent, les éducateurs doivent modifier leur approche des devoirs. Au lieu de se contenter d'assigner et de noter des dissertations, nous devons réfléchir davantage aux résultats des outils d'IA en ce qui concerne leur raisonnement et leur justesse. Les modèles d'IA doivent être considérés comme une partie intégrante de l'éducation, mais qui nécessite une réflexion approfondie et une formation à la pensée critique.

En outre, les enseignants doivent adapter leurs stratégies d'enseignement des compétences rédactionnelles : comme pour l'utilisation des calculatrices, il est nécessaire de mener une réflexion critique avec les étudiants sur le moment et la manière d'utiliser ces outils. Par exemple, les constructivistes affirment que l'apprentissage est renforcé par la conception et la création actives d'artefacts uniques par les élèves eux-mêmes. Dans le cas présent, cela signifie qu'à long terme, les objectifs pédagogiques devront peut-être être ajustés. C'est comme si l'on enseignait de bonnes notions d'arithmétique aux jeunes élèves avant de les autoriser et de les encourager à utiliser librement des calculatrices à un stade ultérieur de leur scolarité. De même, une fois qu'un bon niveau d'alphabétisation a été atteint, l'intégration poussée de modèles d'IA dans les plans de cours peut ne plus aller à l'encontre d'objectifs d'apprentissage raisonnables.

En ce qui concerne la qualité et la structure des essais générés par l'IA, cet article apporte une contribution importante en offrant un compte rendu indépendant, à grande échelle et statistiquement fiable de la qualité des essais, en comparant des textes écrits par des humains et des textes générés par l'IA. En comparant différentes versions de ChatGPT, nous offrons également un aperçu de l'évolution de ces modèles au fil du temps en termes de propriétés linguistiques et de qualité. Nos résultats montrent que si la langue générée par ChatGPT est considérée comme très bonne par les humains, il existe également des différences structurelles notables, par exemple dans l'utilisation des marqueurs de discours. Cela montre qu'il est nécessaire d'examiner en profondeur non seulement les capacités des modèles d'IA générative (c'est-à-dire les tâches pour lesquelles ils peuvent être utilisés), mais aussi le langage qu'ils génèrent. Par exemple, si nous lisons de nombreux textes générés par l'IA qui utilisent moins de marqueurs de discours, la question se pose de savoir si et comment cela affecterait notre utilisation humaine des marqueurs de discours. Comprendre comment les textes générés par l'IA diffèrent des textes écrits par des humains nous permet de rechercher ces différences, de raisonner sur leur impact potentiel, et d'étudier et éventuellement d'atténuer cet impact.