Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques

Ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

ChatGPT peut générer de faux résumés d'articles de recherche si convaincants que les scientifiques sont souvent incapables de les repérer, selon une prépublication sur le serveur bioRxiv fin décembre. Les chercheurs sont divisés sur les implications pour la science. Dans le domaine de la publication scientifique, une prépublication est une version d'un article scientifique qui précède son acceptation par le comité de rédaction d'une revue scientifique.

« Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni, et n'a pas participé à la recherche. « Si nous sommes maintenant dans une situation où les experts ne sont pas en mesure de déterminer ce qui est vrai ou non, nous perdons l'intermédiaire dont nous avons désespérément besoin pour nous guider à travers des sujets compliqués », ajoute-t-elle.

ChatGPT crée un texte réaliste en réponse aux invites de l'utilisateur. Il s'agit d'un « grand modèle de langage », un système basé sur des réseaux de neurones qui apprennent à effectuer une tâche en assimilant d'énormes quantités de texte généré par l'homme. La société de logiciels OpenAI, basée à San Francisco, en Californie, a publié l'outil le 30 novembre.

Depuis sa sortie, les chercheurs se sont attaqués aux problèmes éthiques entourant son utilisation, car une grande partie de sa production peut être difficile à distinguer du texte écrit par l'homme.

C'est peut-être l'une des raisons qui a motivé la décision de l'International Conference on Machine Learning (ICML), l'une des conférences sur l'apprentissage automatique les plus prestigieuses au monde, qui a interdit aux auteurs d'utiliser des outils d'IA comme ChatGPT pour rédiger des articles scientifiques. L'ICML a déclaré : « Les articles qui incluent du texte généré à partir d'un modèle de langage à grande échelle (LLM) tel que ChatGPT sont interdits à moins que le texte produit ne soit présenté dans le cadre de l'analyse expérimentale de l'article ». La nouvelle a suscité de nombreuses discussions sur les réseaux sociaux, des universitaires et des chercheurs en IA défendant et critiquant la politique. Les organisateurs de la conférence ont répondu en publiant une déclaration plus longue expliquant leur pensée.

Selon l'ICML, la montée en puissance de modèles de langage d'IA accessibles au public comme ChatGPT représente un développement « excitant » qui s'accompagne néanmoins de « conséquences imprévues [et] de questions sans réponse ». L'ICML estime que celles-ci incluent des questions sur qui possède la sortie de ces systèmes (ils sont formés sur des données publiques, qui sont généralement collectées sans consentement et régurgitent parfois ces informations textuellement) et si le texte et les images générés par l'IA doivent être « considérés comme nouveaux ou simples dérivés de travaux existants ».

Cette dernière question est liée à un débat délicat sur la paternité, c'est-à-dire qui est considéré comme l'auteur d'un texte généré par l'IA ? La machine, son développeur ou son utilisateur ? Ceci est particulièrement important étant donné que l'ICML n'interdit que les textes « entièrement produits » par l'IA. Les organisateurs de la conférence disent qu'ils n'interdisent pas l'utilisation d'outils comme ChatGPT « pour éditer ou peaufiner le texte écrit par l'auteur » et notent que de nombreux auteurs ont déjà utilisé des « outils d'édition semi-automatisés » comme le logiciel de correction grammaticale Grammarly à cette fin.

Des scientifiques parfois incapables de déterminer quand du texte a été généré par ChatGPT

Des scientifiques ont fait une prépublication et un éditorial à l'aide de ChatGPT. Voici le résumé de la prépublication (la première partie a été générée par chatGPT et la seconde par les scientifiques) :

Puis, un groupe dirigé par Catherine Gao de la Northwestern University de Chicago, dans l'Illinois, a utilisé ChatGPT pour générer des résumés d'articles de recherche artificiels afin de tester si les scientifiques peuvent les repérer.

Les chercheurs ont demandé au chatbot de rédiger 50 résumés de recherche médicale basés sur une sélection publiée dans JAMA, The New England Journal of Medicine, The BMJ, The Lancet et Nature Medicine. Ils les ont ensuite comparés aux résumés originaux en les faisant passer à travers un...