IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un chercheur en IA, furieux, décide de créer "Papers Without Code",
Un site web qui dresse une liste de documents d'apprentissage automatique qui sont non reproductibles et pas applicables

Le , par Nancy Rey

159PARTAGES

20  0 
Le 14 février dernier, un chercheur frustré par la reproduction des résultats d'un document de recherche sur l'apprentissage machine a ouvert un compte Reddit sous le nom d'utilisateur ContributionSecure14 et a publié dans la sous-section MachineLearning(apprentissage automatique) : « Je viens de passer une semaine à mettre en œuvre une publication comme base de référence et je n'ai pas réussi à reproduire les résultats. J'ai réalisé aujourd'hui, après avoir cherché un peu sur Google, que quelques autres n'étaient pas non plus capables de reproduire les résultats. Existe-t-il une liste de ces publiations ? Cela permettra aux gens d'économiser beaucoup de temps et d'efforts ».


La publication de ContributionSecure14 a touché une corde sensible chez plusieurs autres utilisateurs, « Il est plus facile de dresser une liste de documents reproductibles… », a répondu un utilisateur. « Probablement, 50 % à 75 % de tous les documents sont non reproductibles. C'est triste, mais c'est vrai. Pensez-y, la plupart des articles sont "optimisés" pour être présentés dans une conférence. Le plus souvent, les auteurs savent qu'un article qu'ils essaient de faire entrer dans une conférence n'est pas très bon ! Ils n'ont donc pas à se soucier de la reproductibilité, car personne n'essaiera de les reproduire », a écrit un autre utilisateur.

Quelques autres utilisateurs ont posté des liens vers des documents d'apprentissage machine qu'ils n'avaient pas réussi à mettre en œuvre et ont exprimé leur frustration quant à l'absence d'obligation de mise en œuvre du code dans les conférences d’apprentissage automatique.

Le lendemain, ContributionSecure14 a créé "Papers Without Code", un site web qui vise à créer une liste centralisée de documents d'apprentissage automatique qui ne sont pas applicables. « Je ne sais pas si c'est la meilleure ou la pire des idées, mais je me suis dit qu'il serait utile de rassembler une liste de documents que les gens ont essayé de reproduire et ont échoué. Cela donnera aux auteurs la possibilité de publier leur code, de fournir des pointeurs ou d'annuler le document. J'espère que cela encouragera une culture plus saine de la recherche sur le blanchiment d'argent en évitant de publier des travaux non reproductibles », a-t-il écrit sur Reddit.

Reproduire les résultats des documents d'apprentissage machine

Les chercheurs en apprentissage automatique publient régulièrement des articles sur des plateformes en ligne telles que arXiv et OpenReview. Ces articles décrivent des concepts et des techniques qui mettent en évidence les nouveaux défis des systèmes d'apprentissage machine ou introduisent de nouvelles façons de résoudre des problèmes connus. Nombre de ces articles sont présentés lors de conférences sur l'intelligence artificielle telles que NeurIPS, ICML, ICLR et CVPR. Le fait de disposer d'un code source pour accompagner un article de recherche aide beaucoup à vérifier la validité d'une technique d'apprentissage automatique et à en tirer parti. Mais ce n'est pas une exigence pour ce qui concerne les conférences sur l'apprentissage machine. Par conséquent, de nombreux étudiants et chercheurs qui lisent ces documents ont du mal à reproduire leurs résultats.

Mais ContributionSecure14 reconnaît également qu'il existe parfois des raisons légitimes pour les chercheurs en apprentissage machine de ne pas divulguer leur code. Par exemple, certains auteurs peuvent former leurs modèles sur une infrastructure interne ou utiliser de grands ensembles de données internes pour la préformation. Dans de tels cas, les chercheurs ne sont pas libres de publier le code ou les données avec leur article en raison de la politique de l'entreprise.

« Si les auteurs publient un article sans code en raison de telles circonstances, je pense personnellement qu'ils ont la responsabilité académique de travailler en étroite collaboration avec d'autres chercheurs qui tentent de reproduire leur article. Il ne sert à rien de publier le document dans le domaine public si les autres ne peuvent pas s'en inspirer. Il devrait y avoir au moins une mise en œuvre de référence accessible au public pour que d'autres puissent s'en inspirer ou l'utiliser comme référence », déclare ContributionSecure14.

Dans certains cas, même si les auteurs publient à la fois le code source et les données sur leur papier, d'autres chercheurs en apprentissage machine ont tout de même du mal à reproduire les résultats. Cela peut être dû à différentes raisons. Par exemple, les auteurs peuvent sélectionner les meilleurs résultats de plusieurs expériences et les présenter comme des réalisations de pointe. Dans d'autres cas, les chercheurs peuvent avoir utilisé des astuces telles que l'ajustement des paramètres de leur modèle d'apprentissage machine à l'ensemble des données de test pour améliorer les résultats. Dans de tels cas, même si les résultats sont reproductibles, ils ne sont pas pertinents, car le modèle d'apprentissage machine a été trop adapté à des conditions spécifiques et ne sera pas performant sur des données inédites.

Efforts pour la reproductibilité de l'apprentissage machine

Le problème de la reproductibilité ne se limite pas aux petites équipes de recherche en apprentissage machine. Même les grandes entreprises technologiques qui dépensent chaque année des millions de dollars en recherche sur l'IA ne parviennent pas à valider les résultats de leurs travaux. En octobre 2020, un groupe de 31 scientifiques a écrit un article commun dans paru dans la revue scientifique Nature Communications, critiquant le manque de transparence et de reproductibilité d'un document sur l'utilisation de l'IA dans l'imagerie médicale. Dans ce document qui a été publié par un groupe de chercheurs en IA chez Google, on peut lire : « L'absence de méthodes suffisamment documentées et de code informatique sous-jacent à l'étude sape effectivement sa valeur scientifique. Cette lacune limite les preuves requises pour que d'autres puissent valider prospectivement et mettre en œuvre cliniquement de telles technologies… Le progrès scientifique dépend de la capacité des chercheurs indépendants à examiner les résultats d'une étude de recherche, à reproduire les principaux résultats de l'étude en utilisant ses matériaux, et à s'en inspirer dans les études futures ».

Ces dernières années, la crise de la reproductibilité de l'IA a fait l'objet d'une attention croissante. Les efforts de Joelle Pineau, scientifique spécialisée dans l'apprentissage machine à l'Université McGill de Montréal et l'IA Facebook, qui a fait pression pour la transparence et la reproductibilité de la recherche sur l'apprentissage machine lors de conférences telles que NeurIPS, sont remarquables à cet égard.

« Une meilleure reproductibilité signifie qu'il est beaucoup plus facile de construire sur un papier. Souvent, le processus de révision est court et limité et l'impact réel d'un document est quelque chose que nous voyons beaucoup plus tard. Le document vit et en tant que communauté, nous avons la possibilité de nous appuyer sur le travail, d'examiner le code, d'avoir un œil critique sur les contributions », a déclaré Pineau dans une interview en 2019. À NeurIPS, M. Pineau a contribué à l'élaboration de normes et de processus qui peuvent aider les chercheurs et les examinateurs à évaluer la reproductibilité des documents d'apprentissage machine. Ses efforts ont entraîné une augmentation de la soumission de codes et de données à NeurIPS.

Un autre projet intéressant est celui de Papers With Code (d'où le nom de Papers Without Code), un site web qui propose des mises en œuvre pour des articles de recherche scientifique publiés et présentés à différents endroits. Papers With Code héberge actuellement la mise en œuvre de plus de 40 000 articles de recherche sur l'apprentissage automatique.
Lorsqu'un document de recherche sur l'apprentissage machine ne contient pas le code de mise en œuvre, les autres chercheurs qui le lisent doivent essayer de le mettre en œuvre eux-mêmes, un processus non trivial qui peut prendre plusieurs semaines et se solder par un échec.

« S'ils ne parviennent pas à l'implémenter avec succès, ils risquent de contacter les auteurs, qui peuvent ne pas répondre, ou simplement abandonner ». Cela peut arriver à plusieurs chercheurs qui ne sont pas au courant de tentatives antérieures ou continues de reproduire le document, ce qui entraîne un gaspillage collectif de plusieurs semaines de productivité », a déclaré ContributionSecure14.

Le site web Papers Without Code

Papers Without Code comprend une page de soumission, où les chercheurs peuvent soumettre des articles d'apprentissage machine non reproductibles, avec le détail de leurs efforts, comme le temps qu'ils ont passé à essayer de reproduire les résultats. Si une soumission est valide, Papers Without Code contactera les auteurs originaux du document et demandera des éclaircissements ou la publication des détails de la mise en œuvre. Si les auteurs ne répondent pas en temps voulu, le document sera ajouté à la liste des documents d'apprentissage machine non reproductibles.

« PapersWithoutCode résout le problème de la centralisation des informations sur les tentatives antérieures ou en cours de reproduction d'un article et permet aux chercheurs, y compris l'auteur original, de se réunir et de mettre en œuvre une mise en œuvre publique. Une fois que le document a été reproduit avec succès, il peut être publié sur PapersWithCode ou GitHub où d'autres chercheurs peuvent l'utiliser. En ce sens, je dirais que les objectifs de PapersWithoutCode sont en synergie avec ceux de PapersWithCode ou de GitHub et de la communauté de l’apprentissage automatique dans son ensemble », a déclaré ContributionSecure14.

L'espoir est que Papers Without Code aidera à établir une culture qui incite à la reproductibilité dans la recherche sur l'apprentissage machine. À ce jour, le site web a reçu plus de 10 demandes et un auteur s'est déjà engagé à télécharger son code. Papers Without Code peut devenir une plaque tournante pour créer un dialogue entre les auteurs originaux de documents d'apprentissage machine et les chercheurs qui tentent de reproduire leurs travaux.

« Je suis conscient que ce sujet peut être controversé dans le milieu universitaire et que la priorité absolue est de protéger la réputation des auteurs tout en servant la communauté au sens large. Au lieu d'être une liste statique de travaux non reproductibles, l'espoir est de créer un environnement où les chercheurs peuvent collaborer pour reproduire un papier », a déclaré ContributionSecure14.

« Il y a beaucoup de pression pour publier au détriment de la profondeur académique et de la reproductibilité et il n'y a pas beaucoup de contrôles et d'équilibres pour empêcher ce comportement. La seule façon de changer cela est que la génération actuelle et future de chercheurs en apprentissage automatique privilégie la qualité sur la quantité dans leurs propres recherches », a-t-il ajouté.

Sources : Reddit, Papers without code, Nature Communications (1, 2)

Et vous ?

Avez vous déjà été confronté à un cas de documents non reproductibles ? Si oui, comment avez-vous réagi ?
Que pensez-vous de l’initiative de l’utilisateur ContributionSecure14 ?
À votre avis le site Papers Without Code pourra-t-il changer la donne ?

Voir aussi :

Oracle annonce Oracle Database 21c, sa nouvelle base de données, ainsi que son nouveau service low-code APEX accessible via son cloud

Amazon Web Services annonce la disponibilité de CodeGuru, une solution de révision de code pour améliorer ses performances, qui se décline en deux services : CodeGuru Reviewer et CodeGuru Profiler

Microsoft propose en bêta publique Lobe, une application visant à rendre l'apprentissage automatique plus facile, en aidant les utilisateurs à former des modèles sans écrire de code

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de volcano45
Membre à l'essai https://www.developpez.com
Le 09/03/2021 à 10:13
Les documents dont parle le billet sont les articles des revues scientifiques publiés dans le monde scientifique.

quelqu'un peut cadrer le contexte ? Des documents avec des résultats non reproductibles ?
Au contraire cet article est très compréhensible il met en évidence le comportement que certains collectifs de scientifiques (tous domaines confondus) ont vis-à-vis de la communauté scientifique. Ils publient des "papiers" (papers signifie "articles" dans le langage français courant) sans le code qui a servi à prouver leurs résultats, il est impossible de reproduire l'expérience dans la communauté scientifique. Ce qui donne lieu à une énorme perte de temps pour essayer de reproduire le raisonnement des auteurs de ce genre d'articles.
12  2 
Avatar de
https://www.developpez.com
Le 09/03/2021 à 10:56
Citation Envoyé par volcano45 Voir le message
...
Au contraire cet article est très compréhensible il met en évidence le comportement que certains collectifs de scientifiques (tous domaines confondus) ont vis-à-vis de la communauté scientifique. Ils publient des "papiers" (papers signifie "articles" dans le langage français courant) sans le code qui a servi à prouver leurs résultats, il est impossible de reproduire l'expérience dans la communauté scientifique. Ce qui donne lieu à une énorme perte de temps pour essayer de reproduire le raisonnement des auteurs de ce genre d'articles.
Complètement d'accord. Mais le problème n'est vraiment pas nouveau. D'ailleurs avec la covid, on a bien vu que certains chercheurs privilégient la quantité mais se foutent complètement de la qualité réelle de leurs travaux.
7  0 
Avatar de Arya Nawel
Membre extrêmement actif https://www.developpez.com
Le 09/03/2021 à 11:26
Qui plus est... La problématique soulevée ici est épineuse. Et de quoi rendre furieux, quand on se rend compte du volume de temps perdu à chercher à réaliser des travaux qui en réalité ne sont reproduisables, par ce que biaisés ou bâclés...
7  0 
Avatar de archqt
Membre expérimenté https://www.developpez.com
Le 09/03/2021 à 15:02
Quand vous faites un papier qui donnent des résultats, ceux-ci doivent pouvoir être reproduits, ce qui veut dire que j'indique dans mon papier comment les résultats sont obtenus, quelqu'un d'autre en faisant mon travail doit pouvoir trouver les mêmes résultats.

Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié.

Donc là si j'ai bien compris il a refait le travail d'un article d'IA mais n'a jamais réussi à obtenir les résultats de l'article. Il indique donc que certains "améliorent" les résultats de leur papier, puisque personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers.

PS beaucoup de papiers ne valent rien ou presque, quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans pour faire croire qu'ils font de la recherche cela montre bien qu'il y a peu de vérifications
6  0 
Avatar de Arya Nawel
Membre extrêmement actif https://www.developpez.com
Le 09/03/2021 à 11:21
L'article est parfaitement compréhensible. Ceux qui se plaignent de rien y comprendre, ne sont juste pas familiers du jargon utilisé
6  2 
Avatar de Arya Nawel
Membre extrêmement actif https://www.developpez.com
Le 09/03/2021 à 15:25
Citation Envoyé par archqt Voir le message


Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié.

Donc là si j'ai bien compris il a refait le travail d'un article d'IA mais n'a jamais réussi à obtenir les résultats de l'article. Il indique donc que certains "améliorent" les résultats de leur papier, puisque personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers.

PS beaucoup de papiers ne valent rien ou presque, quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans pour faire croire qu'ils font de la recherche cela montre bien qu'il y a peu de vérifications
Effectivement...
1  0 
Avatar de Mingolito
Membre extrêmement actif https://www.developpez.com
Le 10/03/2021 à 2:51
C'est honteux de décrédibiliser ainsi la recherche et les chercheurs.
C'est aussi inadmissible que quand les excellentes recherches du Professeurs Raoult ont été dénigrée à tord par Médiapart un site bien connu de fakes news gauchistes.

D'ailleurs moi même je vends de la chloroquine, achetée en toute légalité à Donal Trump, et je ne suis pas mort du Covid ce qui prouve l'efficacité du traitement !

Je vends aussi les papiers de recherche de Wuhan, qui expliquent comment la Covid 19 a été attrapée par un Chinois qui a forniqué avec un Pangolin enragé sur la place du marché, et pas du tout par une fuite de l'unique laboratoire en chine qui faisait des études sur le coronavirus, et malgré qu'un rapport avait montré que les employés de ce laboratoire violaient tous les protocoles de sécurité d'usage, c'est une pure coïncidence !

1  0 
Avatar de sinople
Membre chevronné https://www.developpez.com
Le 10/03/2021 à 20:42
Une fois qu'on a compris qu'il ne s'agit pas d'un sujet sur le fonctionnement du scanneur de la nouvelle imprimante multifonction Xerox, ni d'un soucis avec le presse papier de Windows et qu'on remplace le terme papier (ou papers) par étude l'article devient beaucoup plus digeste.
1  0 
Avatar de
https://www.developpez.com
Le 10/03/2021 à 21:22
Citation Envoyé par archqt Voir le message
Quand vous faites un papier qui donnent des résultats, ceux-ci doivent pouvoir être reproduits
Sauf qu'on n'en est plus à publier des quicksort. En plus de leur complexité et de leurs paramétrages, les algos d'IA d'aujourd'hui dépendent de nombreuses librairies, des données d'apprentissages, des tirages pseudo-aléatoires, du contexte d'application, etc. Un chercheur malveillant qui voudrait trafiquer ses résultats à de nombreux moyens de le faire.

Citation Envoyé par archqt Voir le message
Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié
Oui : avec exactement les mêmes personnes dans exactement les mêmes conditions... ce qui est impossible et c'est bien pour cela que les scientifiques n'affirment pas ce genre de chose mais travaillent plutôt avec des intervalles de confiance.

Citation Envoyé par archqt Voir le message
personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers
N'importe quoi et cf le début de ce message qui explique pourquoi il ne suffit pas de juste "vérifier".

Citation Envoyé par archqt Voir le message
quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans
Bien-sûr... J'imagine que tu as de nombreux exemples de cela à nous montrer. Certains continuent à travailler dans le même domaine mais republier des papiers d'il y a 20 ans dans un journal sérieux, j'ai beaucoup de mal à y croire.
0  0 
Avatar de TJ1985
Membre expérimenté https://www.developpez.com
Le 12/03/2021 à 8:29
Il peut y avoir de la mauvaise foi ou toute forme de malhonnêteté lorsque des chercheurs publient des travaux non reproductibles. Mais si on se base sur des gens sérieux, comme Andrew Ng ou Yann LeCun, il est aussi assez facile d'arriver à des systèmes d'une telle complexité et exigeant une telle puissance qu'on n'arrive simplement pas à les faire tourner sur un environnement "normal".
C'est un des aspects qui me gênent dans le DeepLearning. L'approche hyperbolique d'une réalité, qui ne sera jamais atteinte. Même si ce comportement reflète fidèlement nos propres imperfections.
Sur l'article, l'initiative est saine et devrait permettre d'identifier facilement les auteurs inintéressants à priori.
0  0