Les éditeurs universitaires utilisent de plus en plus des logiciels d'intelligence artificielle (IA) pour repérer automatiquement les signes de falsification de données dans les articles scientifiques. Par exemple, l'American Association for Cancer Research (AACR) utilise Proofig, un programme de vérification d'images. Sur 1 367 manuscrits analysés entre janvier 2021 et mai 2022, le logiciel a signalé des doublons d'images suspects dans 208 cas. Dans la plupart des cas, la duplication serait une erreur de négligence qui peut être corrigée facilement, mais dans de rares cas, les images douteuses mises en évidence par le logiciel seraient le signe d'un acte criminel.Les éditeurs utilisent l'IA pour détecter la duplication d'images dans les publications
Selon les scientifiques, la duplication d'images, où la même photo photo d'un groupe de cellules, par exemple, est copiée, retournée, pivotée, décalée ou recadrée, est malheureusement assez courante. Dans les cas où les erreurs ne sont pas accidentelles, les images falsifiées sont créées pour donner l'impression que les chercheurs disposent de plus de données et ont mené plus d'expériences qu'ils ne l'ont fait en réalité. Selon Daniel Evanko, directeur des opérations et des systèmes des revues de l'AACR, la duplication d'images serait la principale raison pour laquelle des articles ont été rétractés pour l'association entre 2016 et 2020.
Le fait de rétracter un article nuit aux auteurs et à la réputation des éditeurs. Cela montre que la qualité du travail des chercheurs était mauvaise et e que le processus d'examen par les pairs de l'éditeur a manqué des erreurs. Dans le but d'éviter de mettre les deux parties dans l'embarras, des éditeurs universitaires comme l'AACR se sont tournés vers des logiciels d'IA pour détecter les doublons d'images avant la publication d'un article dans une revue. C'est ainsi que l'AACR a commencé à tester Proofig, un programme de vérification d'images développé par une start-up portant le même nom que son produit et basée en Israël.
Evanko a présenté cette semaine les résultats de l'étude pilote pour montrer l'impact de Proofig sur les activités de l'AACR lors de la conférence "International Congress on Peer Review and Scientific Publication" qui s'est tenue à Chicago. Selon l'association, l'AACR publie dix revues de recherche et examine plus de 13 000 soumissions chaque année. De janvier 2021 à mai 2022, les responsables de l'association ont utilisé Proofig pour examiner 1 367 manuscrits qui avaient été provisoirement acceptés pour publication et ont contacté les auteurs dans 208 cas après avoir examiné les doublons d'images signalés par le logiciel.
Dans la plupart des cas, la duplication est une erreur de négligence qui peut être corrigée facilement. Les scientifiques peuvent avoir accidentellement mélangé leurs résultats et le problème est souvent résolu en soumettant à nouveau de nouvelles données. Dans de rares cas, cependant, ils ont remarqué que les images douteuses mises en évidence par le logiciel sont le signe d'un acte criminel. Selon les données fournies par Evanko, quatre articles sur 208 ont été retirés, et un a été rejeté par la suite. Le travail de Proofig consiste d'abord à détecter toutes les images d'un document téléchargé qui sont pertinentes pour l'analyse.
Le logiciel ignore les images de diagrammes à barres ou de graphiques linéaires. Proofig doit ensuite vérifier si une image particulière correspond à toutes les autres sous-images du document. Les sous-images peuvent être déplacées, retournées ou pivotées ; certaines parties peuvent être recadrées, copiées ou répétées. « Il y a tellement de possibilités », a déclaré Dror Kolodkin-Gal, cofondateur de Proofig. Il utilise un mélange d'algorithmes de vision par ordinateur et d'IA pour extraire et classer les images. Proofig serait complexe sur le plan informatique, et n'aurait pas été possible sans les progrès récents de l'apprentissage automatique.
« Avant l'IA, le simple fait d'extraire les sous-images d'un document aurait nécessité dix fois plus d'investissements en R&D, et Dieu sait comment faire le calcul. Je pense que l'amélioration de la technologie, tant au niveau des algorithmes que de la capacité à faire fonctionner des GPU dans le cloud, est ce qui a changé les choses », a déclaré Kolodkin-Gal. Selon les analystes, la fraude académique n'est pas courante et est souvent associée à des usines à papier ou à des institutions moins réputées. En revanche, des cas de tricherie ont été et continuent d'être découverts dans les meilleurs laboratoires d'universités prestigieuses.
Une enquête récente publiée par Science a révélé que des décennies de recherche sur la maladie d'Alzheimer, qui ont conduit à des recherches infructueuses de nouveaux traitements et à des essais cliniques ratés, sont basées sur un article très cité et entaché de duplications d'images. Les résultats en question (une série de lignes floues produites à l'aide d'une technique connue sous le nom de Western blots) auraient été copiés, modifiés et collés dans les données des souris. Les effets de la duplication sont très difficiles à repérer pour un œil non averti. C'est une tâche fastidieuse pour la plupart des humains, mais bien adaptée aux ordinateurs.
L'IA a toujours besoin de l'expertise humaine pour repérer les tricheurs
Selon Elisabeth Bik, experte en criminalistique d'images et consultante scientifique indépendante, les logiciels d'IA comme Proofig ne peuvent pas repérer les tricheurs à eux seuls. « Vous avez toujours besoin d'un humain avec certaines connaissances et une certaine expertise pour interpréter les résultats. Vous ne pouvez pas simplement laisser le logiciel suivre automatiquement son cours, il pourrait signaler beaucoup de choses qui sont parfaitement bien. Dans certains cas, l'œil humain peut surpasser les ordinateurs », a-t-elle déclaré. Bik utilise un autre logiciel basé sur l'IA appelé ImageTwin pour son travail.
Il a parfois du mal à analyser les Western blots. « Un Western blot est essentiellement une bande noire sur un fond uni. Il y a de petites subtilités dans la forme que je vois en tant qu'humain, mais que le logiciel ne peut pas voir, et je pense que cela est dû à la complexité de nos yeux et de notre cerveau. Je pense que le logiciel se contente de regarder les distances relatives, de sorte qu'une bande noire ressemble toujours à une bande noire, et qu'il n'est pas très doué pour trouver les petits bords ou la forme d'un bloc qui est similaire à une autre forme », a déclaré Bik.
Kolodkin-Gal convient que les Western blots sont particulièrement difficiles à inspecter par les machines. « Il nous a fallu beaucoup d'investissements pour finalement trouver un bon algorithme afin de trouver ces Western blots. C'est très, très difficile pour l'IA, car elles sont très petites », a-t-il déclaré. Les éditeurs universitaires utilisent des outils de vérification d'images comme Proofig à différentes étapes du processus de publication. L'AACR scanne les manuscrits qui ont été provisoirement approuvés, et d'autres, comme Taylor & Francis, ne l'utiliseront que pour vérifier les articles pour lesquels des préoccupations ont été soulevées.
« Si le logiciel détecte une potentielle duplication ou manipulation d'images, et que cela est soutenu par notre équipe de spécialistes, nous entamerons une enquête en suivant nos procédures établies et les directives définies par le Comité d'éthique de la publication pour de tels cas », a déclaré un porte-parole de Taylor & Francis. En outre, la décision de savoir quand et où utiliser ces outils dans le pipeline de publication est une question de coût. Le traitement d'images est une activité à forte intensité de calcul, et les éditeurs doivent couvrir les coûts de l'informatique dématérialisée pour une start-up comme Proofig.
L'examen de chaque article au moment de la soumission serait trop coûteux. Par exemple, selon le catalogue des prix de Proofig, l'analyse de 120 sous-images avec Proofig coûtera 99 dollars à un individu. Les analystes estiment que ce n'est pas bon marché si l'on considère le nombre de combinaisons possibles que Proofig devra traiter dans un seul article. Des organisations comme l'AACR ou Taylor & Francis auront négocié un forfait spécifique à des tarifs plus avantageux adaptés à leurs opérations individuelles.
« En raison de la surveillance manuelle et du coût associé à son utilisation, nous utilisons actuellement Proofig sur les manuscrits pertinents lorsqu'ils sont à un stade plus avancé de l'examen plutôt que lors de la soumission initiale. À ce jour, il a signalé des problèmes dans près d'un tiers des articles que nous avons fait passer dans le logiciel, qui nécessitent ensuite une expertise supplémentaire en la matière pour comprendre et interpréter les résultats », a déclaré Helen King, responsable de la transformation et de l'innovation chez SAGE Publishing.
L'IA ne peut pas encore détecter les images plagiées dans différents articles
Selon la revue Nature, l'American Society for Clinical Investigation a également adopté Proofig, tandis que d'autres éditeurs comme Frontiers ont construit leurs propres outils. John Wiley & Sons, une maison d'édition américaine spécialisée dans la publication de revues scientifiques, utilise également une sorte de logiciel, tandis que PLOS, Elsevier et Nature sont ouverts à des programmes ou les testent activement. Bien que les logiciels d'IA soient de plus en plus performants pour repérer les données douteuses, ils ne peuvent pas détecter toutes les différentes façons dont les scientifiques peuvent tricher.
Proofig peut vérifier si des images apparaissent en double dans un même article, mais ne peut pas encore rechercher les copies entre différents articles. Il ne peut pas encore détecter les cas où des images ont pu être plagiées dans différents articles. Le développeur devra créer une base de données de caches d'images extraites d'articles publiés à des fins de comparaison. « Aujourd'hui, le principal défi pour la communauté est le big data. Si les éditeurs ne commencent pas à travailler ensemble pour construire une base de données d'images problématiques, le plagiat d'images restera un problème », a déclaré Kolodkin-Gal.
« Pour développer l'IA, il faut disposer de grandes données », a-t-il ajouté. Malgré tout, un logiciel comme Proofig semble être un bon début pour mettre un frein à la tricherie et améliorer l'intégrité scientifique. « Je pense que le fait que les éditeurs commencent à utiliser des logiciels est une bonne chose, car cela apporte un peu de contrôle de qualité au processus de publication. Il aura un effet dissuasif. Il indique aux auteurs que nous allons passer leur article au crible pour détecter ce type de doublons. Je pense que cela n'empêchera pas la tricherie, mais que cela la rendra un peu plus difficile », a déclaré Bik.
Sources : Nature, L'American Society for Clinical Investigation, Proofig, Science
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'utilisation de l'IA pour détecter les falsifications dans les articles scientifiques ? En quoi l'utilisation de ces logiciels est-elle avantageuse ? Que pensez-vous du coût d'utilisation de ces logiciels ? Pensez-vous que ces logiciels d'IA parviendront à détecter seuls les images plagiées dans les articles scientifiques ?Voir aussi
DeepMind a entraîné une intelligence artificielle à contrôler la fusion nucléaire, en utilisant l'apprentissage par renforcement Les revenus mondiaux du marché de l'intelligence artificielle devraient augmenter de 19,6 % d'une année sur l'autre en 2022 pour atteindre 432,8 milliards de dollars, selon les prévisions d'IDC La loi européenne sur l'intelligence artificielle peut avoir un effet dissuasif sur les efforts en matière de logiciels libres, avertissent les experts de la Brookings Institution Une œuvre d'art générée par l'IA a remporté la première place à un concours de beaux-arts à une foire d'État, et les artistes sont furieux