Une étude a révélé que depuis l'apparition des LLM, la fréquence de certains choix de mots stylistiques dans la littérature académique a augmenté en conséquence. Ces données suggèrent qu'au moins 13,5 % des articles publiés en 2024 ont été rédigés avec une certaine quantité de traitement LLM. Avec environ 1,5 million d'articles actuellement indexés dans PubMed par an, cela signifie que les LLM aident à la rédaction d'au moins 200 000 articles par an. Cette estimation est basée sur les mots marqueurs LLM qui ont montré un large excès d'utilisation en 2024, ce qui suggère fortement que ces mots sont préférés par les LLM comme ChatGPT qui est devenu populaire à ce moment-là.Il y a de fortes chances que vous ayez rencontré, sans le savoir, un contenu en ligne attrayant créé, entièrement ou en partie, par une version quelconque d'un grand modèle de langage (LLM). À mesure que ces ressources d'IA, telles que ChatGPT et Google Gemini, deviennent plus efficaces pour générer des écrits de qualité quasi humaine, il devient plus difficile de distinguer les écrits purement humains des contenus qui ont été soit modifiés, soit entièrement générés par des LLM.
Dans le domaine de la science, un rapport de l’université du Surrey a révélé que l’intégrité de la connaissance scientifique est compromise par la prolifération d’articles générés par l’IA, souvent superficiels et méthodologiquement fragiles. Ces "usines à papier", profitant de bases de données accessibles comme la NHANES, produisent en masse des études biaisées, privilégiant des analyses simplistes à un seul facteur pour des problèmes de santé complexes.
Cette pratique, amplifiée depuis 2021, inonde les revues, y compris celles évaluées par les pairs et menace de polluer le corpus scientifique avec des conclusions trompeuses. Si l’évaluation par les pairs reste un rempart, son efficacité est mise à mal par le volume croissant de ces publications et les limites inhérentes au système (évaluateurs non spécialisés, manque de rigueur). Les chercheurs ont donc averti que les industries de l'IA sont en train de submerger la science d'études inutiles.
Récemment, une nouvelle étude a confirmé cette situation. Pour faire la lumière sur l'ampleur du contenu des LLM dans les écrits universitaires, une équipe de chercheurs américains et allemands a analysé plus de 15 millions de résumés biomédicaux sur PubMed afin de déterminer si les LLM ont eu un impact détectable sur le choix de mots spécifiques dans les articles de revues.
Leur enquête a révélé que depuis l'apparition des LLM, la fréquence de certains choix de mots stylistiques dans la littérature académique a augmenté en conséquence. Ces données suggèrent qu'au moins 13,5 % des articles publiés en 2024 ont été rédigés avec une certaine quantité de traitement LLM. Depuis la publication de ChatGPT il y a moins de trois ans, la prévalence de l'intelligence artificielle (IA) et du contenu LLM sur le web a explosé, suscitant des inquiétudes quant à l'exactitude et à l'intégrité de certaines recherches.
Nombre de mots en trop par an.
Les efforts passés pour quantifier l'augmentation des LLM dans les écrits académiques ont toutefois été limités par leur dépendance à l'égard d'ensembles de textes générés par des humains et des LLM. Cette configuration, notent les auteurs, "...peut introduire des biais, car elle nécessite des hypothèses sur les modèles que les scientifiques utilisent pour leur écriture assistée par LLM, et sur la manière exacte dont ils les invitent".
Afin d'éviter ces limitations, les auteurs de la dernière étude ont examiné les changements dans l'utilisation excessive de certains mots avant et après la publication de ChatGPT afin de découvrir des tendances révélatrices. Les chercheurs se sont inspirés de recherches antérieures sur la santé publique concernant la pandémie COVID-19, qui ont permis de déduire l'impact de la pandémie COVID-19 sur la mortalité en comparant la surmortalité avant et après la pandémie.
En appliquant la même approche "avant-après", la nouvelle étude a analysé les schémas d'utilisation excessive des mots avant et après l'apparition des LLM. Les chercheurs ont constaté qu'après la publication des MAJ, l'utilisation excessive de "mots de contenu" a cédé la place à une utilisation excessive de mots "stylistiques et fleuris", tels que "showcasing", "pivotal" et "grappling".
En attribuant manuellement des parties du discours à chaque mot excédentaire, les auteurs ont déterminé qu'avant 2024, 79,2 % des choix de mots excédentaires étaient des noms. Au cours de l'année 2024, il y a eu un changement clairement identifiable. 66 % des choix de mots excédentaires étaient des verbes et 14 % des adjectifs. L'équipe a également identifié des différences notables dans l'utilisation du LLM entre les domaines de recherche, les pays et les lieux.
Pour rappel, en 2024, les chercheurs ont été avertis de ne pas recourir à l'intelligence artificielle pour évaluer les articles universitaires, mettant ainsi en péril l'intégrité du processus d'évaluation par les pairs. Bien que les progrès des grands modèles de langage rendent tentante l'utilisation de l'IA pour rédiger des évaluations, cela compromettrait le contrôle de qualité inhérent à l'évaluation par les pairs. Pour remédier à cette situation, les principales conférences sur l'IA envisagent de mettre à jour leurs politiques pour interdire explicitement l'utilisation de l'IA dans ce contexte.
La combinaison de mots de style en excès permet d'obtenir un écart de fréquence plus important.
Approfondissement de la rédaction assistée par le LLM dans les publications biomédicales par le biais d'un excès de vocabulaire
Envoyé par Résumé de l'étude
Les grands modèles de langage (LLM) comme ChatGPT peuvent générer et réviser des textes avec des performances humaines. Ces modèles présentent des limites évidentes, peuvent produire des informations inexactes et renforcer les préjugés existants. Pourtant, de nombreux scientifiques les utilisent pour leurs écrits scientifiques. Mais quelle est l'ampleur de l'utilisation du LLM dans la littérature académique ? Pour répondre à cette question dans le domaine de la recherche biomédicale, nous présentons une approche impartiale et à grande échelle : Nous étudions les changements de vocabulaire dans plus de 15 millions de résumés biomédicaux de 2010 à 2024 indexés par PubMed et montrons comment l'apparition des LLM a conduit à une augmentation abrupte de la fréquence de certains mots de style. Cette analyse de l'excès de mots suggère qu'au moins 13,5 % des résumés de 2024 ont été traités avec des LLM. Cette limite inférieure diffère selon les disciplines, les pays et les revues, atteignant 40 % pour certains sous-corpus. Nous montrons que les LLM ont eu un impact sans précédent sur l'écriture scientifique dans la recherche biomédicale, dépassant l'effet d'événements mondiaux majeurs tels que la pandémie de COVID.
Lors de l'étude, les chercheurs ont exploité l'usage excessif des mots pour montrer comment les LLM ont affecté la rédaction scientifique dans la recherche biomédicale. Ils ont constaté que l'effet était sans...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
