Les grands modèles de langage comme ChatGPT sont utilisés par les scientifiques pour leurs écrits, mais avec des limites évidentes

Produisant des informations inexactes et renforçant les biais existants

Selon une nouvelle étude, l'utilisation des grands modèles de langage (LLM) comme ChatGPT se répand dans la littérature académique, et sera encore plus importante à l'avenir. Cette tendance appelle à une réévaluation des politiques et réglementations actuelles concernant l'utilisation des LLM pour la science.

Un grand modèle de langage (LLM) est un modèle informatique qui se distingue par sa capacité à générer du langage à des fins générales et à réaliser d'autres tâches de traitement du langage naturel, comme la génération de texte, une forme d'IA générative. Basés sur des modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte. Ces modèles acquièrent des connaissances sur la syntaxe, la sémantique et les ontologies inhérentes aux corpus de langage humain, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont entraînés.

Les grands modèles de langage (LLM) récents peuvent générer et réviser des textes avec des performances de niveau humain, et ont été largement commercialisés dans des systèmes tels que ChatGPT. Ces modèles présentent des limites évidentes : ils peuvent produire des informations inexactes, renforcer les préjugés existants et être facilement utilisés à mauvais escient. Pourtant, de nombreux scientifiques les utilisent pour faciliter la rédaction de leurs travaux scientifiques. Dans quelle mesure l'utilisation de LLM est-elle répandue dans la littérature académique ?

Pour répondre à cette question, des chercheurs ont étudié les changements de vocabulaire dans 14 millions de résumés PubMed entre 2010 et 2024, et montrent comment l'apparition des LLM a conduit à une augmentation abrupte de la fréquence de certains mots de style. L'analyse basée sur l'utilisation de mots excédentaires suggère qu'au moins 10 % des résumés de 2024 ont été traités avec des LLM. Cette limite inférieure diffère selon les disciplines, les pays et les revues, et atteint 30 % pour certains sous-corpus de PubMed. L'étude montre également que l'apparition d'assistants de rédaction basés sur les LLM a eu un impact sans précédent sur la littérature scientifique, dépassant l'effet d'événements mondiaux majeurs tels que la pandémie de Covid.


Méthodologie de l'étude

Pour l'étude, les chercheurs ont utilisé l'excès d'utilisation des mots comme une méthode fondée sur des données et des principes pour montrer comment les LLM ont affecté la rédaction scientifique. Ils ont constaté que l'effet était sans précédent en termes de qualité et de quantité : des centaines de mots ont brusquement augmenté leur fréquence après que le ChatGPT soit devenu disponible. Contrairement aux changements précédents dans la popularité des mots, les mots excédentaires de 2023-24 n'étaient pas des noms liés au contenu, mais plutôt des verbes et des adjectifs affectant le style que les LLM de type ChatGPT préfèrent.

Les exemples suivants, tirés de trois résumés réels de 2023, illustrent ce langage fleuri de type ChatGPT :

• En explorant méticuleusement le réseau complexe reliant [...] et [...], ce chapitre exhaustif permet d'approfondir leur implication en tant que facteurs de risque significatifs pour [...].
• Une compréhension approfondie de l'interaction complexe entre [...] et [...] est essentielle à l'élaboration de stratégies thérapeutiques efficaces.
• Dans un premier temps, nous nous penchons sur les subtilités de [...], en soulignant son caractère indispensable dans la physiologie cellulaire, le labyrinthe enzymatique qui régit son flux et les mécanismes pivots de [...].

Résultats

L'analyse de la fréquence excessive de ces mots de style préférés par les LLM suggère qu'au moins 10 % des 2024 résumés de PubMed ont été traités avec des LLM. Étant donné que 1,5 million d'articles sont actuellement indexés dans PubMed chaque année, cela signifie que les LLM contribuent à la rédaction d'au moins 150 000 articles par an. Cette estimation est basée sur des listes émergentes de mots marqueurs LLM qui ont montré un large excès d'utilisation en 2024, ce qui suggère fortement que ces mots sont préférés par les LLM comme ChatGPT qui est devenu populaire à ce moment-là.

Il est important de noter qu'il ne s'agit que d'une limite inférieure : les résumés n'utilisant aucun des mots marqueurs LLM ne sont pas inclus dans les estimations, de sorte que la fraction réelle des résumés traités par LLM est probablement beaucoup plus élevée. Cette estimation de la limite inférieure de l'utilisation du LLM varie de moins de 5 % à plus de 30 % dans différents domaines académiques, pays d'affiliation et revues. Cette hétérogénéité pourrait correspondre à des différences réelles dans l'adoption du LLM.

Par exemple, la limite inférieure élevée de l'utilisation du LLM dans les domaines informatiques (20 %) pourrait être due au fait que les chercheurs en informatique sont plus familiers avec la technologie LLM et plus disposés à l'adopter. Dans les pays non anglophones, les LLM peuvent en effet aider les non-natifs à éditer des textes en anglais, ce qui pourrait justifier leur utilisation intensive. Enfin, les auteurs qui publient dans des revues dont les processus de révision sont accélérés et/ou simplifiés pourraient s'emparer des LLM pour rédiger des articles à faible effort.


Cependant, l'hétérogénéité des limites inférieures pourrait également indiquer d'autres facteurs au-delà des différences réelles dans l'adoption du LLM. Tout d'abord, cela pourrait mettre en évidence des différences non triviales dans la façon dont les auteurs de différents milieux linguistiques censurent les suggestions des assistants d'écriture, rendant ainsi l'utilisation des LLM non détectable pour les approches basées sur les mots. Il est possible que les locuteurs natifs et non natifs de l'anglais utilisent les LLM aussi souvent, mais les locuteurs natifs peuvent être plus aptes à remarquer et à supprimer activement les mots de style non naturels des sorties LLM. La méthode utilisée par l'étude ne serait pas en mesure de détecter la fréquence accrue d'une telle utilisation déguisée de LLM.

Deuxièmement, les...