Un accord récemment signé par plus de 90 scientifiques de renom, dont des lauréats de prix Nobel, vise à encadrer l'utilisation de l'intelligence artificielle (IA) dans le domaine de la biologie, en particulier pour éviter le développement d'armes biologiques potentiellement dévastatrices. L'accord reconnaît que bien que les avancées de l'IA offrent des opportunités considérables dans la recherche biologique, elles présentent également des risques si elles étaient mal utilisées, notamment par des acteurs malveillants.L'initiative fait suite à des préoccupations soulevées lors d'un témoignage devant le Congrès par Dario Amodei, directeur général d'Anthropic, une entreprise spécialisée dans l'IA. Amodei a averti que les progrès de l'IA pourraient potentiellement faciliter la création et la propagation d'armes biologiques par des individus mal intentionnés.
Les signataires de l'accord, notamment des experts en IA et en biologie, reconnaissent les bénéfices potentiels de l'IA pour la conception de protéines, tout en soulignant la nécessité de réglementer l'utilisation des technologies nécessaires à la création de matériel génétique. Cette régulation vise à prévenir l'utilisation abusive de l'IA dans la fabrication d'armes biologiques. Cependant, des études récentes menées par Anthropic et OpenAI ont montré que les modèles d'IA actuels ne représentent qu'un faible risque immédiat en matière de sécurité biologique, mais des préoccupations persistent quant à leur potentiel futur.
Les biologistes signataires de l'accord appellent à un renforcement des mesures de sécurité pour contrôler l'accès aux équipements de fabrication d'ADN et préconisent un examen approfondi des nouveaux modèles d'IA avant leur déploiement. En résumé, l'accord vise à promouvoir un usage responsable de l'IA dans la recherche biologique, tout en minimisant les risques potentiels pour la sécurité mondiale.
Aujourd'hui, plus de 90 biologistes et autres scientifiques spécialisés dans les technologies d'IA utilisées pour concevoir de nouvelles protéines - les mécanismes microscopiques à l'origine de toutes les créations en biologie - ont signé un accord visant à garantir que leurs recherches assistées par l'IA progresseront sans exposer le monde à de graves préjudices.
Les progrès de l'intelligence artificielle créent des opportunités sans précédent pour la recherche en sciences de la vie, notamment en permettant la conception de molécules biologiques fonctionnelles, en particulier les protéines. Cette application de l'IA à la conception de protéines recèle un immense potentiel pour améliorer notre compréhension du monde et contribuer à relever certains des défis les plus pressants de l'humanité en permettant des réponses rapides aux épidémies de maladies infectieuses, en guérissant de nombreuses maladies, en libérant des sources d'énergie durables, en aidant à atténuer le changement climatique, et bien plus encore.
« En tant que scientifiques engagés dans ce travail, nous pensons que les avantages des technologies actuelles de l'IA pour la conception de protéines dépassent largement le potentiel de nuisance et nous voudrions nous assurer que notre recherche reste bénéfique pour tous à l'avenir. Compte tenu des avancées attendues dans ce domaine, une nouvelle approche proactive de la gestion des risques pourrait s'avérer nécessaire pour atténuer le risque de développement de technologies d'IA susceptibles d'être utilisées à mauvais escient, intentionnellement ou non, pour nuire à autrui. Nous sommes donc motivés, en tant que communauté, à formuler un ensemble de valeurs et de principes pour guider le développement responsable des technologies d'IA dans le domaine de la conception des protéines.
« Ces valeurs comprennent la sûreté, la sécurité, l'équité, la collaboration internationale, l'ouverture, la responsabilité et la poursuite de la recherche au profit de la société. En outre, en tant que signataires, nous acceptons volontairement une série d'engagements spécifiques et réalisables, fondés sur ces valeurs et principes et décrits ici. Nous collaborerons avec les parties prenantes du monde entier - universités, gouvernements, société civile et secteur privé - pour faire en sorte que cette technologie se développe de manière responsable et digne de confiance et qu'elle soit sûre, sécurisée et bénéfique pour tous » déclarent les chercheurs.
Valeurs et principes directeurs
Pour le bien de la société : le développement responsable de technologies d'IA pour la conception de protéines a le potentiel de générer de nouvelles connaissances et d'aider à résoudre certains des problèmes les plus critiques du monde. Cette communauté collaborera avec les gouvernements, la société civile, les bailleurs de fonds scientifiques, les universitaires et le secteur privé pour veiller à ce que notre recherche profite à la société, notamment en utilisant la conception de protéines pour aider à se défendre contre les pandémies et d'autres situations d'urgence. Ils poursuivent les applications qui visent à promouvoir la santé, la durabilité, la sécurité et la connaissance scientifique et ils disent s’abstenir de celles qui sont susceptibles de causer des dommages, qu'ils soient accidentels ou intentionnels.
Sûreté et sécurité : Étant donné qu'aucune protéine conçue par calcul ne peut causer de dommages dans le monde réel si elle n'est pas produite physiquement, la fabrication d'ADN synthétique constitue un point de contrôle clé en matière de biosécurité pour le domaine de la conception computationnelle de protéines. Les chercheurs participent au processus de sélection de la synthèse des acides nucléiques et s’efforcent de l'améliorer, dans le but de détecter les biomolécules dangereuses avant qu'elles ne puissent être fabriquées. En outre, il est essentiel de donner accès aux logiciels pour faire avancer la science, mais en tant que développeurs, ils ont le devoir d'évaluer et d'atténuer les risques qui pourraient émerger de ces systèmes avant qu'ils ne soient largement partagés.
« Nous pensons que les avantages du partage ouvert des méthodes scientifiques l'emportent largement sur les risques potentiels ; néanmoins, notre communauté évaluera en permanence nos logiciels de conception de protéines, y compris la façon dont ces outils se croisent avec d'autres technologies, et appliquera les mesures de sûreté et de sécurité appropriées. Ces évaluations devraient être fondées sur des évaluations réalisées par des experts scientifiques possédant des connaissances dans le domaine concerné et viser à déterminer dans quelle mesure la diffusion d'un modèle d'IA donné, les poids de ce modèle ou les ensembles de données ou les méthodes utilisées pour former le modèle introduiraient des risques identifiables dans le contexte des risques existants et des stratégies d'atténuation des risques. »
Ouverture : de nombreux chercheurs de la communauté bénéficient de logiciels scientifiques libres, qui ont permis une innovation rapide et une large collaboration. Les chercheurs affirment la valeur scientifique fondamentale de l'ouverture et pensent que des normes claires en la matière aideront les technologies de l'IA à se développer sur une voie qui maximisera les avantages pour la société. Les décisions relatives à la diffusion des systèmes d'IA pour la science des protéines devraient commencer par le principe directeur de l'ouverture scientifique et être éclairées par des efforts visant à identifier et à atténuer les risques significatifs avant la diffusion. Des pratiques visant à limiter l'accès et la distribution doivent être suivies pour les systèmes d'IA qui présentent des risques significatifs identifiés et non résolus. Ces pratiques doivent être conformes aux principes énoncés dans le présent document et ces risques doivent être communiqués aux publics concernés.
Équité et collaboration internationale - Pour que le domaine de la conception des protéines puisse apporter le plus grand bénéfice possible, il est nécessaire de mettre en place un système de gestion des risques. Le Dr Amodei et d'autres s'inquiètent du fait que les entreprises améliorent les LLM et les combinent avec d'autres technologies, ce qui constitue une menace sérieuse. Il a déclaré au Congrès que cela ne se produirait que dans deux ou trois ans.
OpenAI, fabricant du chatbot en ligne ChatGPT, a ensuite mené une étude similaire qui a montré que les LLM n'étaient pas beaucoup plus dangereux que les moteurs de recherche. Aleksander Mądry, professeur d'informatique au Massachusetts Institute of Technology et responsable de la préparation d'OpenAI, a déclaré qu'il s'attendait à ce que les chercheurs continuent d'améliorer ces systèmes, mais qu'il n'avait pas encore vu de preuve qu'ils seraient capables de créer de nouvelles armes biologiques.
Les LLM d'aujourd'hui sont créés en analysant d'énormes quantités de textes numériques provenant de l'Internet. Cela signifie qu'ils recombinent ce qui est déjà disponible en ligne, y compris les informations existantes sur les attaques biologiques. (Le New York Times a intenté un procès à OpenAI et à son partenaire Microsoft, les accusant de violation des droits d'auteur au cours de ce processus).
Mais dans le but d'accélérer le développement de nouveaux médicaments, de vaccins et d'autres matériaux biologiques utiles, les chercheurs commencent à construire des systèmes d'IA similaires capables de générer de nouveaux modèles de protéines. Les biologistes affirment que cette technologie pourrait également aider les attaquants à concevoir des armes biologiques, mais ils soulignent que la fabrication de ces armes nécessiterait un laboratoire de plusieurs millions de dollars, y compris l'équipement nécessaire à la fabrication de l'ADN.
« Il existe des risques qui ne nécessitent pas des millions de dollars d'infrastructure, mais ces risques existent depuis longtemps et ne sont pas liés à l'intelligence artificielle », a déclaré Andrew White, cofondateur de l'organisation à but non lucratif Future House et l'un des biologistes signataires de l'accord. Les biologistes ont appelé au développement de mesures de sécurité qui empêcheraient l'utilisation d'équipements de fabrication d'ADN avec des matériaux nocifs, bien que la manière dont ces mesures fonctionneraient ne soit pas claire. Ils ont également demandé que les nouveaux modèles d'IA fassent l'objet d'un examen de sûreté et de sécurité avant d'être mis sur le marché.
Équilibre délicat : sécurité et innovation dans l'utilisation de l'IA en biologie
L'initiative visant à encadrer l'utilisation de l'intelligence artificielle (IA) dans le domaine de la biologie, et en particulier pour éviter le développement d'armes biologiques, est louable dans son objectif de préserver la sécurité mondiale. La reconnaissance des risques potentiels associés à l'IA et la volonté des scientifiques de réglementer son utilisation sont des démarches responsables et nécessaires.
Cependant, il est important de noter que les études récentes menées par des entreprises telles que Anthropic et OpenAI, qui ont été citées pour justifier l'accord, suggèrent que les risques immédiats liés à l'utilisation actuelle de l'IA dans le domaine biologique sont faibles. Il est donc possible que la crainte des risques futurs soit exagérée, ce qui soulève des questions sur la proportionnalité des mesures réglementaires proposées.
De plus, bien que la régulation de l'accès aux équipements de fabrication d'ADN et l'examen approfondi des nouveaux modèles d'IA soient des mesures prudentes, leur mise en œuvre concrète peut être complexe et nécessiter une coordination internationale. Les détails sur la manière dont ces mesures seront appliquées et qui en sera responsable restent flous, ce qui soulève des interrogations quant à leur efficacité réelle.
Enfin, l'accord semble se concentrer principalement sur la prévention des risques liés à l'utilisation malveillante de l'IA dans le domaine biologique, sans accorder suffisamment d'attention aux opportunités bénéfiques qu'elle peut offrir. Il est essentiel de trouver un équilibre entre la protection contre les dangers potentiels et l'exploitation des avancées technologiques pour le bien de la société.
En résumé, bien que l'accord soit une première étape importante vers une utilisation responsable de l'IA dans la recherche biologique, il convient d'examiner de manière critique ses implications pratiques et son équilibre entre les risques et les avantages potentiels.
Source : Agreement signed
Et vous ?
Quel est votre avs sur le sujet ? Quels sont les risques réels que l'IA représente dans le domaine de la biologie par rapport à d'autres menaces potentielles, telles que les attaques cybernétiques ou le terrorisme traditionnel ?Voir aussi :
Des scientifiques annoncent un nouveau domaine d'« intelligence organoïde », les critiques soulignent les limites de l'informatique traditionnelle, l'organoïde remet-il en cause l'avenir de l'IA ? Cortical Labs, une startup australienne, fabrique des puces informatiques en utilisant de vrais neurones biologiques, afin de réduire la consommation d'énergie liée à l'IA