ChatGPT et d'autres outils d'IA pourraient perturber les publications scientifiques

Ces outils pourraient devenir des « assistants » réguliers pour la rédaction de manuscrits

L’utilisation de l’intelligence artificielle générative (IA) pour la rédaction et la révision des articles scientifiques fait l’objet de nombreuses discutions. Les outils d’IA générative tels que ChatGPT pourraient devenir des assistants réguliers pour la rédaction de manuscrits, de rapports d’examen par les pairs et de demandes de subvention.

Les éditeurs scientifiques expérimentent déjà l’IA générative dans les outils de recherche scientifique, pour l’édition et le résumé rapide des articles. Les chercheurs pensent que les personnes dont l’anglais n’est pas la langue maternelle pourraient tirer le meilleur parti de ces outils. Certains considèrent l’IA générative comme un moyen pour les scientifiques de repenser complètement la manière dont ils interrogent et résument les résultats expérimentaux.

Mastrodicasa, un radiologue travaillant à la faculté de médecine de l’université de Washington, est l’un des nombreux chercheurs qui utilisent des outils d’intelligence artificielle générative pour écrire du texte ou du code. Il utilise ChatGPT Plus, la version par abonnement du robot basé sur le grand modèle de langage (LLM) GPT-4, pour suggérer des façons plus claires de transmettre ses idées. Bien que les scientifiques qui utilisent régulièrement les LLM soient encore une minorité, beaucoup s’attendent à ce que les outils d’IA générative deviennent des assistants réguliers pour la rédaction de manuscrits, de rapports d’examen par les pairs et de demandes de subvention.


Mastrodicasa souligne que l’utilisation de l’IA générative pourrait transformer la nature des articles scientifiques en permettant une rédaction et une révision assistées par l’IA. Les outils d’IA générative tels que ChatGPT pourraient aider à produire des manuscrits prêts à être publiés plus rapidement, ainsi que des rapports d’examen par les pairs et des demandes de subvention. Les éditeurs scientifiques expérimentent déjà l’IA générative dans les outils de recherche scientifique et pour l’édition et le résumé rapide des articles.

Comme dit précédemment, les chercheurs pensent que les personnes dont l’anglais n’est pas la langue maternelle pourraient tirer le meilleur parti de ces outils, car ils peuvent aider à suggérer des façons plus claires de transmettre leurs idées. Certains considèrent l’IA générative comme un moyen pour les scientifiques de repenser complètement la manière dont ils interrogent et résument les résultats expérimentaux. Bien que les outils d’IA générative puissent être utiles, ils ne remplaceront jamais complètement le travail humain.

Les impacts potentiels de l’IA générative sur l’édition scientifique

Les éditeurs scientifiques et d'autres acteurs ont identifié une série de préoccupations concernant les impacts potentiels de l'IA générative. L'accessibilité des outils d'IA générative pourrait faciliter la production d'articles de mauvaise qualité et, dans le pire des cas, compromettre l'intégrité de la recherche, déclare Daniel Hook, directeur général de Digital Science, une société d'analyse de la recherche située à Londres. « Les éditeurs ont raison d'avoir peur », ajoute-t-il.

Dans certains cas, des chercheurs ont déjà admis avoir utilisé ChatGPT pour rédiger des articles sans le révéler. Ils se sont fait prendre parce qu'ils avaient oublié de supprimer les signes révélateurs de son utilisation, tels que les fausses références ou la réponse préprogrammée du logiciel indiquant qu'il s'agit d'un modèle de langage d'IA.

Impacts de l’IA générative

Le besoin de distinguer l'écriture humaine de l'IA est maintenant à la fois critique et urgent. Pour répondre à ce besoin, les chercheurs présentent une méthode permettant de distinguer le texte généré par ChatGPT des scientifiques universitaires (humains), en s’appuyant sur des méthodes de classification supervisée répandues et accessibles.

L'approche utilise de nouvelles caractéristiques pour distinguer ces humains de l'IA ; à titre d'exemple, les scientifiques écrivent de longs paragraphes et ont un penchant pour le langage équivoque, utilisant fréquemment des mots tels que « mais », « cependant » et « bien que ». Avec un ensemble de 20 caractéristiques, les chercheurs ont comme dit précédemment construit un modèle qui attribue l'auteur, humain ou IA, avec une précision de plus de 99 %.

Cette stratégie pourrait être adaptée et développée par d'autres personnes ayant des compétences de base en matière de classification supervisée, ce qui permettrait d'accéder à de nombreux modèles très précis et ciblés pour détecter l'utilisation de l'IA dans les écrits universitaires et au-delà.

Contrairement à l'IA, les humains ont des structures de paragraphe plus complexes, qui varient en nombre de phrases et en nombre total de mots par paragraphe, ainsi qu'en longueur de phrase. Les préférences en matière de signes de ponctuation et de vocabulaire sont également révélatrices.

Lors des tests, le modèle a obtenu un taux de précision de 100 % pour distinguer les articles de fond générés par l'IA de ceux rédigés par des humains. Pour ce qui est de l'identification des différents paragraphes d'un article, le taux d'exactitude du modèle était de 92 %. Le modèle de l'équipe de recherche a également...