L’utilisation de l’intelligence artificielle générative (IA) pour la rédaction et la révision des articles scientifiques fait l’objet de nombreuses discutions. Les outils d’IA générative tels que ChatGPT pourraient devenir des assistants réguliers pour la rédaction de manuscrits, de rapports d’examen par les pairs et de demandes de subvention. Les éditeurs scientifiques expérimentent déjà l’IA générative dans les outils de recherche scientifique, pour l’édition et le résumé rapide des articles. Les chercheurs pensent que les personnes dont l’anglais n’est pas la langue maternelle pourraient tirer le meilleur parti de ces outils. Certains considèrent l’IA générative comme un moyen pour les scientifiques de repenser complètement la manière dont ils interrogent et résument les résultats expérimentaux.
Mastrodicasa, un radiologue travaillant à la faculté de médecine de l’université de Washington, est l’un des nombreux chercheurs qui utilisent des outils d’intelligence artificielle générative pour écrire du texte ou du code. Il utilise ChatGPT Plus, la version par abonnement du robot basé sur le grand modèle de langage (LLM) GPT-4, pour suggérer des façons plus claires de transmettre ses idées. Bien que les scientifiques qui utilisent régulièrement les LLM soient encore une minorité, beaucoup s’attendent à ce que les outils d’IA générative deviennent des assistants réguliers pour la rédaction de manuscrits, de rapports d’examen par les pairs et de demandes de subvention.
Mastrodicasa souligne que l’utilisation de l’IA générative pourrait transformer la nature des articles scientifiques en permettant une rédaction et une révision assistées par l’IA. Les outils d’IA générative tels que ChatGPT pourraient aider à produire des manuscrits prêts à être publiés plus rapidement, ainsi que des rapports d’examen par les pairs et des demandes de subvention. Les éditeurs scientifiques expérimentent déjà l’IA générative dans les outils de recherche scientifique et pour l’édition et le résumé rapide des articles.
Comme dit précédemment, les chercheurs pensent que les personnes dont l’anglais n’est pas la langue maternelle pourraient tirer le meilleur parti de ces outils, car ils peuvent aider à suggérer des façons plus claires de transmettre leurs idées. Certains considèrent l’IA générative comme un moyen pour les scientifiques de repenser complètement la manière dont ils interrogent et résument les résultats expérimentaux. Bien que les outils d’IA générative puissent être utiles, ils ne remplaceront jamais complètement le travail humain.
Les impacts potentiels de l’IA générative sur l’édition scientifique
Les éditeurs scientifiques et d'autres acteurs ont identifié une série de préoccupations concernant les impacts potentiels de l'IA générative. L'accessibilité des outils d'IA générative pourrait faciliter la production d'articles de mauvaise qualité et, dans le pire des cas, compromettre l'intégrité de la recherche, déclare Daniel Hook, directeur général de Digital Science, une société d'analyse de la recherche située à Londres. « Les éditeurs ont raison d'avoir peur », ajoute-t-il.
Dans certains cas, des chercheurs ont déjà admis avoir utilisé ChatGPT pour rédiger des articles sans le révéler. Ils se sont fait prendre parce qu'ils avaient oublié de supprimer les signes révélateurs de son utilisation, tels que les fausses références ou la réponse préprogrammée du logiciel indiquant qu'il s'agit d'un modèle de langage d'IA.
Impacts de l’IA générative
Le besoin de distinguer l'écriture humaine de l'IA est maintenant à la fois critique et urgent. Pour répondre à ce besoin, les chercheurs présentent une méthode permettant de distinguer le texte généré par ChatGPT des scientifiques universitaires (humains), en s’appuyant sur des méthodes de classification supervisée répandues et accessibles.
L'approche utilise de nouvelles caractéristiques pour distinguer ces humains de l'IA ; à titre d'exemple, les scientifiques écrivent de longs paragraphes et ont un penchant pour le langage équivoque, utilisant fréquemment des mots tels que « mais », « cependant » et « bien que ». Avec un ensemble de 20 caractéristiques, les chercheurs ont comme dit précédemment construit un modèle qui attribue l'auteur, humain ou IA, avec une précision de plus de 99 %.
Cette stratégie pourrait être adaptée et développée par d'autres personnes ayant des compétences de base en matière de classification supervisée, ce qui permettrait d'accéder à de nombreux modèles très précis et ciblés pour détecter l'utilisation de l'IA dans les écrits universitaires et au-delà.
Contrairement à l'IA, les humains ont des structures de paragraphe plus complexes, qui varient en nombre de phrases et en nombre total de mots par paragraphe, ainsi qu'en longueur de phrase. Les préférences en matière de signes de ponctuation et de vocabulaire sont également révélatrices.
Lors des tests, le modèle a obtenu un taux de précision de 100 % pour distinguer les articles de fond générés par l'IA de ceux rédigés par des humains. Pour ce qui est de l'identification des différents paragraphes d'un article, le taux d'exactitude du modèle était de 92 %. Le modèle de l'équipe de recherche a également largement surpassé un détecteur de texte IA disponible sur le marché lors de tests similaires.
L'équipe prévoit ensuite de déterminer l'étendue de l'applicabilité du modèle. Elle souhaite le tester sur des ensembles de données plus importants et sur différents types de textes scientifiques universitaires. À mesure que les chatbots d'IA progressent et deviennent plus sophistiqués, les chercheurs veulent également savoir si leur modèle tiendra la route.
« La première chose que les gens veulent savoir lorsqu'ils entendent parler de cette recherche, c'est si je peux l'utiliser pour savoir si mes étudiants ont réellement écrit leur article », a déclaré Desaire. Bien que le modèle soit très performant pour faire la distinction entre l'IA et les scientifiques, Desaire précise qu'il n'a pas été conçu pour permettre aux éducateurs d'identifier les rédactions d'étudiants générées par l'IA. Toutefois, elle note que les gens peuvent facilement reproduire leurs méthodes pour construire des modèles pour leurs propres besoins.
Les outils de détection de l’IA seraient incapables de repérer les textes générés par des LLM de manière fiable
Dans l'idéal, les éditeurs devraient être en mesure de détecter les textes générés par des LLM. Dans la pratique, les outils de détection de l'IA se sont révélés jusqu'à présent incapables de repérer ce type de texte de manière fiable tout en évitant de signaler la prose écrite par un être humain comme étant le produit d'une IA. Bien que les développeurs de LLM commerciaux s'efforcent de filigraner les résultats générés par les LLM afin de les rendre identifiables, aucune entreprise n'a encore mis en place ce système pour les textes.
Bien que des chercheurs affirment que les filigranes actuels de l'IA sont faciles à supprimer, Microsoft a ajouté des filigranes dans Bing Image Creator permettant d'identifier les images comme étant générées par l'IA.
Dans des études, ces filigranes ont déjà été utilisés pour identifier avec une quasi-certitude des textes générés par l'IA. Des chercheurs de l'université du Maryland, par exemple, ont été en mesure de repérer le texte créé par le modèle de langage open-source de Meta, OPT-6.7B, à l'aide d'un algorithme de détection qu'ils ont construit. Ces travaux sont décrits dans un article qui n'a pas encore fait l'objet d'une évaluation par les pairs, et le code sera disponible gratuitement aux alentours du 15 février.
Les modèles linguistiques d'IA fonctionnent en prédisant et en générant un mot à la fois. Après chaque mot, l'algorithme de filigrane divise de manière aléatoire le vocabulaire du modèle de langage en mots figurant sur une "liste verte" et une "liste rouge", puis invite le modèle à choisir des mots figurant sur la liste verte. Plus il y a de mots sur la liste verte dans un passage, plus il est probable que le texte ait été généré par une machine.
Un texte écrit par une personne a tendance à contenir un mélange de mots plus aléatoire. Par exemple, « pour le mot "beau", l'algorithme de filigrane pourrait classer le mot "fleur" en vert et le mot "orchidée" en rouge. Le modèle d'IA doté de l'algorithme de filigrane serait plus susceptible d'utiliser le mot "fleur" que le mot "orchidée" », explique Tom Goldstein, professeur adjoint à l'université du Maryland, qui a participé à la recherche.
Tout comme les chercheurs de l’université du Maryland, Sandra Wachter, juriste à l'université d'Oxford (Royaume-Uni), qui s'intéresse aux implications éthiques et juridiques des technologies émergentes estime que tout filigrane pourrait également être supprimé. Elle espère que les législateurs du monde entier insisteront sur la divulgation ou les filigranes pour les LLM et qu'ils rendront illégale la suppression des filigranes.
Les éditeurs abordent la question en interdisant purement et simplement l'utilisation des modèles(comme l'a fait l'éditeur de Science, l'American Association for the Advancement of Science) ou, dans la plupart des cas, en insistant sur la. Une étude portant sur 100 éditeurs et revues a révélé qu'en mai, 17 % des éditeurs et 70 % des revues avaient publié des lignes directrices sur la manière dont l'IA générative pouvait être utilisée, même si les modalités d'application des outils variaient, explique Giovanni Cacciamani, urologue à l'université de Californie du Sud à Los Angeles, coauteur de l'étude, qui n'a pas encore fait l'objet d'une évaluation par les pairs.
Lui et ses collègues travaillent avec des scientifiques et des rédacteurs en chef de revues pour élaborer un ensemble uniforme de lignes directrices afin d'aider les chercheurs à rendre compte de leur utilisation des LLM.
De nombreux rédacteurs en chef craignent que l'IA générative ne soit utilisée pour produire plus facilement des articles mais convaincants. Les entreprises qui créent et vendent des manuscrits à des chercheurs désireux d'augmenter leur production de publications, connues sous le nom de paper mills, pourraient en tirer profit. Pour répondre à ces préoccupations, certaines revues pourraient renforcer leurs méthodes pour vérifier que les auteurs sont authentiques et qu'ils ont effectué les recherches qu'ils soumettent.
L’utilisation de l’intelligence artificielle générative pour la rédaction et la révision des articles scientifiques est un sujet qui soulève des questions éthiques et critiques. Bien que les outils d’IA générative puissent aider à produire des manuscrits prêts à être publiés plus rapidement, ainsi que des rapports d’examen par les pairs et des demandes de subvention, ils ne remplaceront jamais complètement le travail humain. Les outils d’IA générative risquent également de faciliter la production d’articles de mauvaise qualité et de compromettre l’intégrité de la recherche. En outre, les outils d’IA générative risquent de biaiser les résultats en fonction des données
Source : Nature
Et vous ?
Les conclusions de cette étude sont-elles pertinentes ? « Les outils d’IA générative risquent de faciliter la production d’articles de mauvaise qualité », partagez vous cet avis ? Les outils d’IA générative ne risquent-ils pas de remplacer complètement le travail humain ?Voir aussi :
Microsoft annonce la disponibilité de DALL-E 3 pour tous les utilisateurs de Bing Chat et de Bing Image Creator, des filigranes permettent d'identifier les images comme étant générées par l'IA Les chercheurs affirment que les filigranes actuels de l'IA sont faciles à supprimer, Microsoft a ajouté des filigranes dans Bing Image Creator et Google a conçu SynthID Les écrits scientifiques universitaires générés par l'IA peuvent être identifiés avec une précision de plus de 99 %, selon des chercheurs de l'université de Kansas 
Envoyé par Bruno
"Promis quand j'aurais mes subvention on changera ma signature pour la tienne", 3 mois plus tard "Beh mince j'ai pas eu les subventions prévues, j'ai pas assez de visibilité laissons les choses comme ça"
