Les éditeurs universitaires se tournent vers les logiciels d'IA pour repérer les scientifiques qui falsifient les données,

Mais l'analyse nécessite toujours l'intervention humaine

Les éditeurs universitaires se tournent vers les logiciels d'IA pour repérer les scientifiques qui falsifient les données
mais l'analyse nécessite toujours l'intervention humaine

Les éditeurs universitaires utilisent de plus en plus des logiciels d'intelligence artificielle (IA) pour repérer automatiquement les signes de falsification de données dans les articles scientifiques. Par exemple, l'American Association for Cancer Research (AACR) utilise Proofig, un programme de vérification d'images. Sur 1 367 manuscrits analysés entre janvier 2021 et mai 2022, le logiciel a signalé des doublons d'images suspects dans 208 cas. Dans la plupart des cas, la duplication serait une erreur de négligence qui peut être corrigée facilement, mais dans de rares cas, les images douteuses mises en évidence par le logiciel seraient le signe d'un acte criminel.

Les éditeurs utilisent l'IA pour détecter la duplication d'images dans les publications

Selon les scientifiques, la duplication d'images, où la même photo photo d'un groupe de cellules, par exemple, est copiée, retournée, pivotée, décalée ou recadrée, est malheureusement assez courante. Dans les cas où les erreurs ne sont pas accidentelles, les images falsifiées sont créées pour donner l'impression que les chercheurs disposent de plus de données et ont mené plus d'expériences qu'ils ne l'ont fait en réalité. Selon Daniel Evanko, directeur des opérations et des systèmes des revues de l'AACR, la duplication d'images serait la principale raison pour laquelle des articles ont été rétractés pour l'association entre 2016 et 2020.

Le fait de rétracter un article nuit aux auteurs et à la réputation des éditeurs. Cela montre que la qualité du travail des chercheurs était mauvaise et e que le processus d'examen par les pairs de l'éditeur a manqué des erreurs. Dans le but d'éviter de mettre les deux parties dans l'embarras, des éditeurs universitaires comme l'AACR se sont tournés vers des logiciels d'IA pour détecter les doublons d'images avant la publication d'un article dans une revue. C'est ainsi que l'AACR a commencé à tester Proofig, un programme de vérification d'images développé par une start-up portant le même nom que son produit et basée en Israël.

Evanko a présenté cette semaine les résultats de l'étude pilote pour montrer l'impact de Proofig sur les activités de l'AACR lors de la conférence "International Congress on Peer Review and Scientific Publication" qui s'est tenue à Chicago. Selon l'association, l'AACR publie dix revues de recherche et examine plus de 13 000 soumissions chaque année. De janvier 2021 à mai 2022, les responsables de l'association ont utilisé Proofig pour examiner 1 367 manuscrits qui avaient été provisoirement acceptés pour publication et ont contacté les auteurs dans 208 cas après avoir examiné les doublons d'images signalés par le logiciel.


Dans la plupart des cas, la duplication est une erreur de négligence qui peut être corrigée facilement. Les scientifiques peuvent avoir accidentellement mélangé leurs résultats et le problème est souvent résolu en soumettant à nouveau de nouvelles données. Dans de rares cas, cependant, ils ont remarqué que les images douteuses mises en évidence par le logiciel sont le signe d'un acte criminel. Selon les données fournies par Evanko, quatre articles sur 208 ont été retirés, et un a été rejeté par la suite. Le travail de Proofig consiste d'abord à détecter toutes les images d'un document téléchargé qui sont pertinentes pour l'analyse.

Le logiciel ignore les images de diagrammes à barres ou de graphiques linéaires. Proofig doit ensuite vérifier si une image particulière correspond à toutes les autres sous-images du document. Les sous-images peuvent être déplacées, retournées ou pivotées ; certaines parties peuvent être recadrées, copiées ou répétées. « Il y a tellement de possibilités », a déclaré Dror Kolodkin-Gal, cofondateur de Proofig. Il utilise un mélange d'algorithmes de vision par ordinateur et d'IA pour extraire et classer les images. Proofig serait complexe sur le plan informatique, et n'aurait pas été possible sans les progrès récents de l'apprentissage automatique.

« Avant l'IA, le simple fait d'extraire les sous-images d'un document aurait nécessité dix fois plus d'investissements en R&D, et Dieu sait comment faire le calcul. Je pense que l'amélioration de la technologie, tant au niveau des algorithmes que de la capacité à faire fonctionner des GPU dans le cloud, est ce qui a changé les choses », a déclaré Kolodkin-Gal. Selon les analystes, la fraude académique n'est pas courante et est souvent associée à des usines à papier ou à des institutions moins réputées. En revanche, des cas de tricherie ont été et continuent d'être découverts dans les meilleurs laboratoires d'universités prestigieuses.

Une enquête récente publiée par Science a révélé que des décennies de recherche sur la maladie d'Alzheimer, qui ont conduit à des recherches infructueuses de nouveaux traitements et à des essais cliniques ratés, sont basées sur un article très cité et entaché de duplications d'images. Les résultats en question (une série de lignes floues produites à l'aide d'une technique connue sous le nom de Western blots) auraient été copiés, modifiés et collés dans les données des souris. Les effets de la duplication sont très difficiles à repérer pour un œil non averti. C'est une tâche fastidieuse pour la plupart des humains, mais bien adaptée aux ordinateurs.

L'IA a toujours besoin de l'expertise humaine pour repérer les tricheurs

Selon Elisabeth Bik, experte en criminalistique d'images et consultante scientifique indépendante, les logiciels d'IA comme Proofig ne peuvent pas repérer les tricheurs à eux seuls. « Vous avez toujours besoin d'un humain avec certaines connaissances et une certaine expertise pour interpréter les résultats. Vous ne pouvez pas simplement laisser le logiciel suivre automatiquement son cours, il pourrait signaler beaucoup de choses qui sont parfaitement bien. Dans certains cas, l'œil humain peut surpasser les ordinateurs », a-t-elle déclaré. Bik utilise un autre logiciel basé sur l'IA appelé ImageTwin pour son travail.

Il a parfois du mal à analyser les Western blots. « Un Western blot est essentiellement une bande noire sur un fond uni. Il y a de petites subtilités dans la forme que je vois en tant qu'humain, mais que le logiciel ne peut pas voir, et je pense que cela est dû à la complexité de nos yeux et de notre cerveau. Je pense que le logiciel se contente de regarder les distances relatives, de sorte qu'une bande noire ressemble toujours à une bande noire, et qu'il n'est pas très doué pour trouver les petits bords ou la forme d'un bloc qui est similaire à une autre forme », a déclaré Bik.

Kolodkin-Gal convient que les Western blots sont particulièrement difficiles à inspecter par les machines. « Il nous a fallu beaucoup d'investissements pour finalement trouver un bon algorithme afin de trouver ces Western blots. C'est très, très difficile pour l'IA, car elles sont très petites », a-t-il déclaré. Les éditeurs universitaires utilisent des outils de vérification d'images comme Proofig à différentes étapes du processus de publication. L'AACR scanne les manuscrits qui ont été provisoirement approuvés, et d'autres, comme Taylor & Francis, ne l'utiliseront que pour vérifier les articles pour lesquels des préoccupations ont été soulevées.

« Si le logiciel détecte une potentielle duplication ou manipulation d'images, et que cela est soutenu par notre équipe de spécialistes, nous entamerons une enquête en suivant nos procédures établies et les directives définies par le Comité d'éthique de la publication pour de tels cas », a déclaré un porte-parole de Taylor & Francis. En outre, la décision de savoir quand et où utiliser ces outils dans le pipeline de publication est une question de coût. Le traitement d'images est une activité à forte intensité de calcul, et les éditeurs doivent couvrir les coûts de l'informatique dématérialisée pour une start-up comme Proofig.

L'examen de chaque article au moment de la soumission serait trop coûteux. Par exemple, selon le catalogue des prix de Proofig, l'analyse de 120 sous-images avec Proofig coûtera 99 dollars à un individu. Les analystes estiment que ce n'est pas bon marché si l'on considère le nombre de combinaisons possibles que Proofig devra traiter dans un seul article. Des organisations comme l'AACR ou Taylor & Francis auront négocié un forfait spécifique à des tarifs plus avantageux adaptés à leurs opérations individuelles.

« En raison de la surveillance manuelle et du coût associé à son utilisation, nous utilisons actuellement Proofig sur les manuscrits pertinents lorsqu'ils sont à un stade plus avancé de l'examen plutôt que lors de la soumission initiale. À ce jour, il a signalé des problèmes dans près d'un tiers des articles que nous avons fait passer dans le logiciel, qui nécessitent ensuite une expertise supplémentaire en la matière pour comprendre et...