Le 14 février dernier, un chercheur frustré par la reproduction des résultats d'un document de recherche sur l'apprentissage machine a ouvert un compte Reddit sous le nom d'utilisateur ContributionSecure14 et a publié dans la sous-section MachineLearning(apprentissage automatique) : « Je viens de passer une semaine à mettre en œuvre une publication comme base de référence et je n'ai pas réussi à reproduire les résultats. J'ai réalisé aujourd'hui, après avoir cherché un peu sur Google, que quelques autres n'étaient pas non plus capables de reproduire les résultats. Existe-t-il une liste de ces publiations ? Cela permettra aux gens d'économiser beaucoup de temps et d'efforts ».La publication de ContributionSecure14 a touché une corde sensible chez plusieurs autres utilisateurs, « Il est plus facile de dresser une liste de documents reproductibles… », a répondu un utilisateur. « Probablement, 50 % à 75 % de tous les documents sont non reproductibles. C'est triste, mais c'est vrai. Pensez-y, la plupart des articles sont "optimisés" pour être présentés dans une conférence. Le plus souvent, les auteurs savent qu'un article qu'ils essaient de faire entrer dans une conférence n'est pas très bon ! Ils n'ont donc pas à se soucier de la reproductibilité, car personne n'essaiera de les reproduire », a écrit un autre utilisateur.
Quelques autres utilisateurs ont posté des liens vers des documents d'apprentissage machine qu'ils n'avaient pas réussi à mettre en œuvre et ont exprimé leur frustration quant à l'absence d'obligation de mise en œuvre du code dans les conférences d’apprentissage automatique.
Le lendemain, ContributionSecure14 a créé "Papers Without Code", un site web qui vise à créer une liste centralisée de documents d'apprentissage automatique qui ne sont pas applicables. « Je ne sais pas si c'est la meilleure ou la pire des idées, mais je me suis dit qu'il serait utile de rassembler une liste de documents que les gens ont essayé de reproduire et ont échoué. Cela donnera aux auteurs la possibilité de publier leur code, de fournir des pointeurs ou d'annuler le document. J'espère que cela encouragera une culture plus saine de la recherche sur le blanchiment d'argent en évitant de publier des travaux non reproductibles », a-t-il écrit sur Reddit.
Reproduire les résultats des documents d'apprentissage machine
Les chercheurs en apprentissage automatique publient régulièrement des articles sur des plateformes en ligne telles que arXiv et OpenReview. Ces articles décrivent des concepts et des techniques qui mettent en évidence les nouveaux défis des systèmes d'apprentissage machine ou introduisent de nouvelles façons de résoudre des problèmes connus. Nombre de ces articles sont présentés lors de conférences sur l'intelligence artificielle telles que NeurIPS, ICML, ICLR et CVPR. Le fait de disposer d'un code source pour accompagner un article de recherche aide beaucoup à vérifier la validité d'une technique d'apprentissage automatique et à en tirer parti. Mais ce n'est pas une exigence pour ce qui concerne les conférences sur l'apprentissage machine. Par conséquent, de nombreux étudiants et chercheurs qui lisent ces documents ont du mal à reproduire leurs résultats.
Mais ContributionSecure14 reconnaît également qu'il existe parfois des raisons légitimes pour les chercheurs en apprentissage machine de ne pas divulguer leur code. Par exemple, certains auteurs peuvent former leurs modèles sur une infrastructure interne ou utiliser de grands ensembles de données internes pour la préformation. Dans de tels cas, les chercheurs ne sont pas libres de publier le code ou les données avec leur article en raison de la politique de l'entreprise.
« Si les auteurs publient un article sans code en raison de telles circonstances, je pense personnellement qu'ils ont la responsabilité académique de travailler en étroite collaboration avec d'autres chercheurs qui tentent de reproduire leur article. Il ne sert à rien de publier le document dans le domaine public si les autres ne peuvent pas s'en inspirer. Il devrait y avoir au moins une mise en œuvre de référence accessible au public pour que d'autres puissent s'en inspirer ou l'utiliser comme référence », déclare ContributionSecure14.
Dans certains cas, même si les auteurs publient à la fois le code source et les données sur leur papier, d'autres chercheurs en apprentissage machine ont tout de même du mal à reproduire les résultats. Cela peut être dû à différentes raisons. Par exemple, les auteurs peuvent sélectionner les meilleurs résultats de plusieurs expériences et les présenter comme des réalisations de pointe. Dans d'autres cas, les chercheurs peuvent avoir utilisé des astuces telles que l'ajustement des paramètres de leur modèle d'apprentissage machine à l'ensemble des données de test pour améliorer les résultats. Dans de tels cas, même si les résultats sont reproductibles, ils ne sont pas pertinents, car le modèle d'apprentissage machine a été trop adapté à des conditions spécifiques et ne sera pas performant sur des données inédites.
Efforts pour la reproductibilité de l'apprentissage machine
Le problème de la reproductibilité ne se limite pas aux petites équipes de recherche en apprentissage machine. Même les grandes entreprises technologiques qui dépensent chaque année des millions de dollars en recherche sur l'IA ne parviennent pas à valider les résultats de leurs travaux. En octobre 2020, un groupe de 31 scientifiques a écrit un article commun dans paru dans la revue scientifique Nature Communications, critiquant le manque de transparence et de reproductibilité d'un document sur l'utilisation de l'IA dans l'imagerie médicale. Dans ce document qui a été publié par un groupe de chercheurs en IA chez Google, on peut lire : « L'absence de méthodes suffisamment documentées et de code informatique sous-jacent à l'étude sape effectivement sa valeur scientifique. Cette lacune limite les preuves requises pour que d'autres puissent valider prospectivement et mettre en œuvre cliniquement de telles technologies… Le progrès scientifique dépend de la capacité des chercheurs indépendants à examiner les résultats d'une étude de recherche, à reproduire les principaux résultats de l'étude en utilisant ses matériaux, et à s'en inspirer dans les études futures ».
Ces dernières années, la crise de la reproductibilité de l'IA a fait l'objet d'une attention croissante. Les efforts de Joelle Pineau, scientifique spécialisée dans l'apprentissage machine à l'Université McGill de Montréal et l'IA Facebook, qui a fait pression pour la transparence et la reproductibilité de la recherche sur l'apprentissage machine lors de conférences telles que NeurIPS, sont remarquables à cet égard.
« Une meilleure reproductibilité signifie qu'il est beaucoup plus facile de construire sur un papier. Souvent, le processus de révision est court et limité et l'impact réel d'un document est quelque chose que nous voyons beaucoup plus tard. Le document vit et en tant que communauté, nous avons la possibilité de nous appuyer sur le travail, d'examiner le code, d'avoir un œil critique sur les contributions », a déclaré Pineau dans une interview en 2019. À NeurIPS, M. Pineau a contribué à l'élaboration de normes et de processus qui peuvent aider les chercheurs et les examinateurs à évaluer la reproductibilité des documents d'apprentissage machine. Ses efforts ont entraîné une augmentation de la soumission de codes et de données à NeurIPS.
Un autre projet intéressant est celui de Papers With Code (d'où le nom de Papers Without Code), un site web qui propose des mises en œuvre pour des articles de recherche scientifique publiés et présentés à différents endroits. Papers With Code héberge actuellement la mise en œuvre de plus de 40 000 articles de recherche sur l'apprentissage automatique.
Lorsqu'un document de recherche sur l'apprentissage machine ne contient pas le code de mise en œuvre, les autres chercheurs qui le lisent doivent essayer de le mettre en œuvre eux-mêmes, un processus non trivial qui peut prendre plusieurs semaines et se solder par un échec.
« S'ils ne parviennent pas à l'implémenter avec succès, ils risquent de contacter les auteurs, qui peuvent ne pas répondre, ou simplement abandonner ». Cela peut arriver à plusieurs chercheurs qui ne sont pas au courant de tentatives antérieures ou continues de reproduire le document, ce qui entraîne un gaspillage collectif de plusieurs semaines de productivité », a déclaré ContributionSecure14.
Le site web Papers Without Code
Papers Without Code comprend une page de soumission, où les chercheurs peuvent soumettre des articles d'apprentissage machine non reproductibles, avec le détail de leurs efforts, comme le temps qu'ils ont passé à essayer de reproduire les résultats. Si une soumission est valide, Papers Without Code contactera les auteurs originaux du document et demandera des éclaircissements ou la publication des détails de la mise en œuvre. Si les auteurs ne répondent pas en temps voulu, le document sera ajouté à la liste des documents d'apprentissage machine non reproductibles.
« PapersWithoutCode résout le problème de la centralisation des informations sur les tentatives antérieures ou en cours de reproduction d'un article et permet aux chercheurs, y compris l'auteur original, de se réunir et de mettre en œuvre une mise en œuvre publique. Une fois que le document a été reproduit avec succès, il peut être publié sur PapersWithCode ou GitHub où d'autres chercheurs peuvent l'utiliser. En ce sens, je dirais que les objectifs de PapersWithoutCode sont en synergie avec ceux de PapersWithCode ou de GitHub et de la communauté de l’apprentissage automatique dans son ensemble », a déclaré ContributionSecure14.
L'espoir est que Papers Without Code aidera à établir une culture qui incite à la reproductibilité dans la recherche sur l'apprentissage machine. À ce jour, le site web a reçu plus de 10 demandes et un auteur s'est déjà engagé à télécharger son code. Papers Without Code peut devenir une plaque tournante pour créer un dialogue entre les auteurs originaux de documents d'apprentissage machine et les chercheurs qui tentent de reproduire leurs travaux.
« Je suis conscient que ce sujet peut être controversé dans le milieu universitaire et que la priorité absolue est de protéger la réputation des auteurs tout en servant la communauté au sens large. Au lieu d'être une liste statique de travaux non reproductibles, l'espoir est de créer un environnement où les chercheurs peuvent collaborer pour reproduire un papier », a déclaré ContributionSecure14.
« Il y a beaucoup de pression pour publier au détriment de la profondeur académique et de la reproductibilité et il n'y a pas beaucoup de contrôles et d'équilibres pour empêcher ce comportement. La seule façon de changer cela est que la génération actuelle et future de chercheurs en apprentissage automatique privilégie la qualité sur la quantité dans leurs propres recherches », a-t-il ajouté.
Sources : Reddit, Papers without code, Nature Communications (1, 2)
Et vous ?
Avez vous déjà été confronté à un cas de documents non reproductibles ? Si oui, comment avez-vous réagi ? Que pensez-vous de l’initiative de l’utilisateur ContributionSecure14 ? À votre avis le site Papers Without Code pourra-t-il changer la donne ?Voir aussi :
Oracle annonce Oracle Database 21c, sa nouvelle base de données, ainsi que son nouveau service low-code APEX accessible via son cloud Amazon Web Services annonce la disponibilité de CodeGuru, une solution de révision de code pour améliorer ses performances, qui se décline en deux services : CodeGuru Reviewer et CodeGuru Profiler Microsoft propose en bêta publique Lobe, une application visant à rendre l'apprentissage automatique plus facile, en aidant les utilisateurs à former des modèles sans écrire de code
Envoyé par volcano45
