Des chercheurs suggèrent que l'IA pourrait nuire à l'avenir de la recherche scientifique et limiter l'esprit critique. L'équipe affirme que l'engouement pour l'IA conduit à des recherches erronées qui suscitent un engouement encore plus grand. Selon elle, "la découverte sans compréhension" est l'un des principaux arguments de vente de l'apprentissage automatique (ML), ce qui explique pourquoi les erreurs sont particulièrement fréquentes dans les sciences basées sur le ML. Les chercheurs ne comprennent pas toujours comment l'IA obtient ses résultats, mais les publient sans une évaluation approfondie, ce qui participe au battage médiatique sur l'IA.Arvind Narayanan, informaticien et professeur à l'Université de Princeton, et Sayash Kapoor, doctorant en informatique au "Center for Information Technology Policy" de l'université de Princeton, ont publié un article dans lequel ils dénoncent la façon dont certains scientifiques utilisent aujourd'hui l'IA dans le cadre de leurs recherches. L'article, intitulé "Les scientifiques doivent utiliser l'IA comme un outil et non comme un oracle", suggère que de plus en plus de scientifiques prennent pour argent comptant les réponses crachées par l'IA, alors que la plupart du temps, ces résultats sont complètement erronés, voire dangereux.
À titre d'exemple, deux articles publiés à grand renfort de publicité en décembre 2023 prétendaient avoir découvert plus de 2,2 millions de nouveaux matériaux grâce à l'IA et avoir synthétisé 41 d'entre eux de manière robotisée. Toutefois, ces affirmations ont été rapidement démenties : la plupart des 41 matériaux produits ont été mal identifiés, et les autres étaient déjà connus. Quant au vaste ensemble de données, l'examen d'un échantillon de 250 composés a montré qu'il s'agissait essentiellement de déchets. Selon Narayanan et Kapoor, il y a eu de nombreux exemples comme celui-ci au cours de ces dernières années.
Selon les chercheurs, il existe des lacunes généralisées à chaque étape de la science fondée sur les modèles d'apprentissage automatique, de la collecte des données au prétraitement et à la publication des résultats. Parmi les problèmes pouvant conduire à l'irreproductibilité, il y a les comparaisons inappropriées avec les données de référence, les échantillons non représentatifs, les résultats sensibles à des choix de modélisation spécifiques et le fait de ne pas rendre compte des incertitudes du modèle. Il y a également le problème des chercheurs qui ne publient pas leur code et leurs données, empêchant la reproductibilité.
L'article indique que l'apprentissage automatique introduit une série de raisons supplémentaires pour lesquelles il faut être sceptique à l'égard des résultats et des découvertes des modèles d'IA. L'évaluation des performances est notoirement délicate et de nombreux aspects, tels que la quantification de l'incertitude, sont des domaines de recherche non résolus. Et le code des modèles d'apprentissage automatique tend à être plus complexe et moins normalisé que la modélisation statistique traditionnelle. Comme ce n'est pas le rôle des pairs d'examiner le code, les erreurs de codage sont rarement découvertes.
Mais d'après l'équipe, la principale raison de la piètre qualité de la recherche est l'omniprésence du battage médiatique, qui se traduit par l'absence d'un esprit critique chez les chercheurs, alors qu'il s'agit de la pierre angulaire d'une bonne pratique scientifique. Narayanan et Kapoor expliquent :
Envoyé par Arvind Narayanan et Sayash Kapoor
Nous avons observé que lorsque les chercheurs ont des attentes trop optimistes et que leur modèle d'apprentissage automatique donne de mauvais résultats, ils supposent qu'ils ont fait quelque chose de mal et modifient le modèle, alors qu'en fait ils devraient envisager sérieusement la possibilité qu'ils se soient heurtés à des limites inhérentes à la prévisibilité.
Inversement, ils ont tendance à être crédules lorsque leur modèle donne de bons résultats, alors qu'ils devraient être très attentifs aux "fuites" ou à d'autres défauts. Et si le modèle donne de meilleurs résultats que prévu, ils supposent qu'il a découvert dans les données des schémas auxquels aucun humain n'aurait pu penser, et le mythe de l'IA en tant qu'intelligence extraterrestre rend cette explication facilement plausible. Il s'agit d'une boucle de rétroaction.
L'excès d'optimisme alimente des recherches erronées qui induisent en erreur les autres chercheurs sur ce qu'ils devraient ou ne devraient pas attendre de l'IA. En fait, nous avons rencontré des versions extrêmes de ce phénomène dans la correspondance privée avec des chercheurs frustrés : étant donné que les recherches erronées ne sont pas corrigées, il devient littéralement impossible de publier de bonnes recherches puisqu'elles aboutiront à des modèles qui ne seront pas à la hauteur de "l'état de l'art".
Plus l'outil est puissant et plus sa boîte noire est grande, plus le risque d'erreurs et d'excès de confiance est élevé. Les crises de réplication en psychologie, en médecine, etc. ont été le résultat d'une mauvaise application des statistiques classiques. Étant donné la relative nouveauté des modèles d'apprentissage automatique, nous pensons que la crise de reproductibilité dans les sciences basées sur les modèles d'apprentissage automatique va s'aggraver pendant un certain temps avant de commencer à s'améliorer.
Et maintenant, les scientifiques adoptent de grands modèles de langage et l'IA générative, qui ouvrent la voie à de nombreux nouveaux pièges tels que l'illusion de la compréhension.
The headline conclusions:
— Robert Palgrave (@Robert_Palgrave) January 8, 2024
It is likely that no new materials were discovered.
Most of the materials produced were misidentified, and the rest were already known
This happened because of problems in both the computational and the experimental portions of the work.
L'équipe a ajouté : « l'IA n'offre pas de raccourci au dur labeur et à la frustration inhérents à la recherche. L'IA n'est pas un oracle et ne peut pas voir l'avenir. Malheureusement, la plupart des domaines scientifiques ont succombé à l'engouement pour l'IA, ce qui a conduit à une suspension du sens commun ». Narayanan et Kapoor ne sont pas les seuls à avoir souligné la direction critique que prend la science. Lisa Messeri, anthropologue à Yale, et Molly J. Crockett, chercheuse en sciences cognitives à Princeton, ont déclaré : « nous risquons d'avoir un avenir dans lequel nous produirons plus, mais nous comprendrons moins ».
Messeri et Crockett ont publié le 6 mars un article intitulé "Artificial intelligence and illusions of understanding in scientific research" et qui met en lumière les risques épistémiques - c'est-à-dire les risques associés à la manière dont les connaissances sont produites - que l'IA pourrait faire peser sur les sciences. Les autrices ne se concentrent pas sur les erreurs commises par l'IA, mais plutôt sur ce qui se passe lorsque ces erreurs disparaissent et que les outils d'IA fonctionnent exactement comme prévu. Elles estiment que de telles approches risquent de restreindre l'éventail des questions posées par les chercheurs.
Sources : billet de blogue, rapport d'étude (1, 2)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des risques liés à l'utilisation de l'IA dans le recherche scientifique ?Voir aussi
Une IA de Google DeepMind contribue à la découverte de millions de nouveaux matériaux pouvant être utilisés dans de nombreux domaines, comme la fabrication de puces informatiques et de batteries Les chercheurs sont mis en garde contre l'utilisation de l'IA pour l'évaluation par les pairs des articles universitaires, mettant ainsi en péril l'intégrité du processus d'évaluation par les pairs Rapport scientifique international sur la sécurité de l'intelligence artificielle avancée : un rapport actualisé et fondé sur des données probantes concernant la sécurité de l'IA avancée