Les chercheurs en intelligence artificielle ont commencé à utiliser l'assistance de l'IA pour évaluer le travail de leurs pairs. Un groupe de chercheurs provenant de plusieurs institutions de renom a analysé les évaluations par les pairs d'articles soumis à des conférences importantes en intelligence artificielle. Leur étude, motivée par l'essor des grands modèles de langage et la difficulté croissante à distinguer le texte généré par des humains de celui généré par des machines, souligne l'importance de développer des moyens d'évaluer le contenu rédigé par l'IA. Ils ont constaté que l'utilisation d'adjectifs dans les évaluations peut permettre de distinguer le travail assisté par l'IA de celui rédigé entièrement par des humains. Environ 6,5 % à 16,9 % des évaluations par les pairs pourraient avoir été substantiellement modifiées par des modèles de langage, selon leurs résultats. Les chercheurs mettent en garde contre le manque de transparence dans l'utilisation de l'IA pour la rédaction scientifique et soulignent les risques d'homogénéisation des retours d'IA, qui pourraient éloigner les évaluations significatives des experts.
Un groupe de chercheurs de l'Université Stanford, des Laboratoires NEC America et de l'UC Santa Barbara a récemment analysé les évaluations par les pairs d'articles soumis à des conférences majeures en IA, notamment ICLR 2024, NeurIPS 2023, CoRL 2023 et EMNLP 2023. Les auteurs - Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland et James Y. Zou - ont présenté leurs résultats dans un article intitulé « Surveillance de contenu modifié par l'IA à grande échelle : une étude de cas sur l'impact de ChatGPT sur les évaluations par les pairs de conférences en IA. »
Ils ont entrepris cette étude en raison de l'intérêt du public et des discussions sur les grands modèles de langage qui ont dominé le discours technique l'année dernière.
Envoyé par Research group
Nous présentons une approche pour estimer la fraction de texte dans un grand corpus qui est susceptible d'être substantiellement modifiée ou produite par un grand modèle de langage (LLM). Notre modèle de vraisemblance maximale exploite des textes de référence rédigés par des experts et générés par l'IA pour examiner avec précision et efficacité l'utilisation réelle des LLM au niveau du corpus. Nous appliquons cette approche à une étude de cas des évaluations par les pairs scientifiques. Nous constatons un changement significatif dans la fréquence des évaluations par les pairs dans les conférences en IA qui ont eu lieu après la sortie de ChatGPT : ICLR 2024, NeurIPS 2023, CoRL 2023 et EMNLP 2023.
Nos résultats suggèrent qu'entre 6,5 % et 16,9 % du texte soumis en tant qu'évaluations par les pairs à ces conférences pourrait avoir été substantiellement modifié par des LLM, c'est-à-dire au-delà de la correction orthographique ou des mises à jour mineures de rédaction. Les circonstances dans lesquelles le texte généré apparaît offrent un aperçu du comportement de l'utilisateur : la fraction estimée de texte généré par LLM est plus élevée dans les évaluations qui rapportent une confiance moindre, qui sont soumises près de la date limite, et provenant de réviseurs moins susceptibles de répondre aux réfutations des auteurs.
Nous observons également des tendances au niveau du corpus dans le texte généré qui peuvent être trop subtiles pour être détectées au niveau individuel, et discutons des implications de telles tendances sur l'évaluation par les pairs. Nous appelons à des travaux interdisciplinaires futurs pour examiner comment l'utilisation des LLM change nos pratiques d'information et de connaissance.
Nos résultats suggèrent qu'entre 6,5 % et 16,9 % du texte soumis en tant qu'évaluations par les pairs à ces conférences pourrait avoir été substantiellement modifié par des LLM, c'est-à-dire au-delà de la correction orthographique ou des mises à jour mineures de rédaction. Les circonstances dans lesquelles le texte généré apparaît offrent un aperçu du comportement de l'utilisateur : la fraction estimée de texte généré par LLM est plus élevée dans les évaluations qui rapportent une confiance moindre, qui sont soumises près de la date limite, et provenant de réviseurs moins susceptibles de répondre aux réfutations des auteurs.
Nous observons également des tendances au niveau du corpus dans le texte généré qui peuvent être trop subtiles pour être détectées au niveau individuel, et discutons des implications de telles tendances sur l'évaluation par les pairs. Nous appelons à des travaux interdisciplinaires futurs pour examiner comment l'utilisation des LLM change nos pratiques d'information et de connaissance.
Changement dans la fréquence des adjectifs dans les évaluations par les pairs de l'ICLR 2024. On constate un changement significatif dans la fréquence de certains tokens dans l'ICLR 2024, avec des adjectifs tels que « louable », « méticuleux » et « complexe » montrant des augmentations de probabilité de 9,8, 34,7 et 11,2 fois dans la survenue dans une phrase.
Générer les données d'entraînement
Les chercheurs ont besoin d'accéder à des données historiques pour estimer P et Q. Plus précisément, ils...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
