L'année dernière, les États-Unis ont annoncé la création d'un institut dédié à la sécurité de l'intelligence-artificielle, dans le but d'évaluer les risques associés aux modèles d'intelligence artificielle révolutionnaires. L'Institut américain de sécurité de l'IA, qui fait partie de l'Institut national des normes et de la technologie (NIST), a finalement annoncé son équipe dirigeante après de nombreuses spéculations. La nomination de Paul Christiano à la tête de l'Institut américain de sécurité de l'IA est perçue comme une décision controversée en raison de ses prédictions alarmantes sur les dangers potentiels de l'IA. En tant qu'ancien chercheur d'OpenAI, Christiano a mis en avant des scénarios d'apocalypse liés à l'IA, ce qui a suscité des inquiétudes quant à l'orientation de l'institut vers une pensée non scientifique. Bien que certains membres du personnel aient exprimé leur opposition à cette nomination, Christiano a été choisi pour son expertise en matière de sécurité de l'IA et son expérience dans l'évaluation des risques. Son travail consistera à concevoir des tests pour évaluer les modèles d'IA et à mettre en œuvre des mesures d'atténuation des risques. Malgré les critiques, Christiano défend ses prévisions et souligne la nécessité de réglementer le développement de l'IA pour minimiser les risques potentiels.
L’ancien chercheur d'OpenAI a prédit que l'IA avait une probabilité de 50 % de causer une apocalypse. L'Institut américain de sécurité de l'IA a annoncé la nomination de Paul Christiano à sa tête, suscitant des inquiétudes quant à ses prédictions pessimistes sur l'IA. Certains au sein du NIST s'opposent à cette nomination, craignant que les opinions de Christiano ne compromettent l'objectivité de l'institut. Des rumeurs font état de membres menaçant de démissionner.
Le rôle du NIST dans la promotion de l'innovation et de la compétitivité industrielle américaine
La mission du NIST est ancrée dans l'avancement de la science en travaillant à « promouvoir l'innovation et la compétitivité industrielle des États-Unis en faisant progresser la science de la mesure, les normes et la technologie de manière à renforcer la sécurité économique et à améliorer notre qualité de vie ».
Le National Institute of Standards and Technology (NIST) a été fondé en 1901 et fait aujourd'hui partie du ministère américain du commerce. Le NIST est l'un des plus anciens laboratoires de sciences physiques du pays. Le Congrès a créé l'agence pour éliminer un obstacle majeur à la compétitivité industrielle des États-Unis à l'époque : une infrastructure de mesure de second ordre, en retard sur les capacités du Royaume-Uni, de l'Allemagne et d'autres rivaux économiques.
Du réseau électrique intelligent aux dossiers médicaux électroniques, en passant par les horloges atomiques, les nanomatériaux avancés et les puces électroniques, d'innombrables produits et services reposent d'une manière ou d'une autre sur la technologie, les mesures et les normes fournies par l'Institut national des normes et de la technologie.
Aujourd'hui, les mesures du NIST soutiennent les plus petites technologies comme les plus grandes et les plus complexes des créations humaines - des dispositifs nanométriques si minuscules que des dizaines de milliers peuvent tenir sur l'extrémité d'un seul cheveu humain jusqu'aux gratte-ciel antisismiques et aux réseaux de communication mondiaux.
Mission de l'Agence
Promouvoir l'innovation et la compétitivité industrielle des États-Unis en faisant progresser la science, les normes et la technologie de la mesure de manière à renforcer la sécurité économique et à améliorer notre qualité de vie.
Compétences principales
- Science de la mesure
- Traçabilité rigoureuse
- Développement et utilisation d'étalons
L'approche de l'altruisme efficace dans la pratique et la recherche
Les altruistes efficaces croient qu' il faut « utiliser les preuves et la raison pour trouver comment profiter le plus possible aux autres » et les altermondialistes que « nous devrions faire beaucoup plus pour protéger les générations futures », qui sont tous deux plus subjectifs et fondés sur l'opinion. L'altruisme efficace est un projet qui vise à trouver les meilleurs moyens d'aider les autres et à les mettre en pratique.
L'altruisme efficace est à la fois un projet intellectuel et pratique, combinant l'empathie avec l'utilisation des preuves et de la raison pour maximiser l'impact positif sur autrui. C'est un effort pour améliorer concrètement le monde en agissant en accord avec les résultats de la recherche. Il s'agit de trouver des moyens plus efficaces d'aider les autres, à la fois en tant que domaine de recherche et en tant que communauté d'individus déterminés à mettre en pratique ces découvertes pour générer un changement significatif.
Le réseau de l'altruisme efficace est une communauté mondiale de personnes engagées à améliorer le monde, en utilisant des approches fondées sur des preuves et une réflexion rationnelle pour déterminer les meilleures actions à entreprendre pour le bien-être collectif. Il s'agit à la fois d'un domaine de recherche, qui vise à identifier les problèmes les plus urgents dans le monde et les meilleures solutions pour y remédier, et d'une communauté pratique qui vise à utiliser ces résultats pour faire le bien.
Nomination de Christiano : entre craintes et reconnaissances
Lors d'une intervention sur le podcast Bankless l'année dernière, Christiano a partagé ses estimations concernant les risques liés à l'IA. Selon lui, il existe une probabilité d'environ 10 à 20 % que l'IA prenne le contrôle, entraînant la mort des humains. De manière plus générale, il estime qu'il y a probablement plus de 50 % de chances qu'une catastrophe survienne peu après que les systèmes d'IA atteignent le niveau de sophistication humaine.
Christiano a également souligné que la menace la plus probable ne serait pas une attaque directe de l'IA contre l'humanité, mais plutôt un déploiement massif et incontrôlé de l'IA. Il a averti que si ces systèmes d'IA, pour une raison quelconque, se retournaient contre nous, les conséquences seraient inévitablement dévastatrices.
Les détracteurs de ceux que l'on appelle les « pessimistes de l'IA » ont mis en garde contre le fait que l'attention portée à tout discours potentiellement exagéré sur d'hypothétiques systèmes d'IA tueurs ou sur des risques existentiels liés à l'IA pourrait empêcher l'humanité de se concentrer sur les dommages actuellement perçus de l'IA, notamment les problèmes liés à l'environnement, à la protection de la vie privée, à l'éthique et à la discrimination.
Emily Bender, professeur de linguistique informatique à l'université de Washington, qui a mis en garde contre les prophètes de malheur de l'IA qui contrecarrent d'importants travaux éthiques dans ce domaine, a déclaré qu'étant donné que le « discours bizarre des prophètes de l'IA » a été inclus dans le décret de Joe Biden sur l'IA, « le NIST a été chargé de se préoccuper de ces scénarios fantaisistes » et que « c'est le problème sous-jacent » qui a conduit à la nomination de Christiano. « Je pense que le NIST avait probablement la possibilité de prendre une autre direction, a déclaré Bender. Il est regrettable qu'il ne l'ait pas fait. »
En tant que responsable de la sécurité de l'IA, Christiano devra apparemment surveiller les risques actuels et potentiels. Il « concevra et mènera des tests de modèles d'IA d'avant-garde, en se concentrant sur l'évaluation des modèles pour les capacités relevant de la sécurité nationale », dirigera les processus d'évaluation et mettra en œuvre des « mesures d'atténuation des risques pour améliorer la sûreté et la sécurité des modèles d'avant-garde », selon le communiqué de presse du ministère du Commerce.
Christiano a de l'expérience en matière d'atténuation des risques liés à l'IA. Il a quitté OpenAI pour fonder l'Alignment Research Center (ARC), que le ministère du commerce décrit comme « une organisation de recherche à but non lucratif qui cherche à aligner les futurs systèmes d'apprentissage automatique sur les intérêts humains en faisant avancer la recherche théorique ». Une partie de la mission de l'ARC consiste à vérifier si les systèmes d'IA évoluent pour manipuler ou tromper les humains, selon le site web de l'ARC. L'ARC mène également des recherches pour aider les systèmes d'IA à s'adapter « gracieusement.
En raison des antécédents de Christiano en matière de recherche, certains pensent qu'il est un bon choix pour diriger l'institut de sécurité, comme Divyansh Kaushik, directeur associé pour les technologies émergentes et la sécurité nationale à la Federation of American Scientists (Fédération des scientifiques américains). Sur X (anciennement Twitter), Kaushik a écrit que l'institut de sécurité est conçu pour atténuer les risques chimiques, biologiques, radiologiques et nucléaires liés à l'IA, et que Christiano est « extrêmement qualifié » pour tester ces modèles d'IA. Kaushik a toutefois précisé que « des scientifiques du NIST menaçaient de démissionner » à cause de la nomination de Christiano, « ce serait évidemment grave si c'était vrai ».
« Pour préserver notre leadership mondial en matière d'IA responsable et nous assurer que nous sommes équipés pour remplir notre mission d'atténuer les risques de l'IA et d'en exploiter les avantages, nous avons besoin des meilleurs talents que notre pays a à offrir. C'est précisément la raison pour laquelle nous avons sélectionné ces personnes, qui sont les meilleures dans leur domaine, pour rejoindre l'équipe dirigeante de l'Institut américain de sécurité de l'IA », a déclaré Gina Raimondo, secrétaire d'État au commerce des États-Unis. « L'élaboration de lignes directrices qui renforceront notre sûreté et notre sécurité, l'engagement avec la société civile et les entreprises, et le travail en étroite collaboration avec nos alliés sont essentiels pour faire face à cette technologie qui définit une génération. Grâce au leadership du président Biden, nous cultivons le vivier de talents nécessaire pour atteindre ces objectifs cruciaux ».I’m going to add some extremely important context this article is missing.
— Divyansh Kaushik (@dkaushik96) March 8, 2024
The EO specifically asks NIST (and AISI) to focus on certain tasks (CBRN risks etc). Paul Christiano is extremely qualified for those tasks—important context that should’ve been included here.
Another… https://t.co/9KOtciyXFT
« Sous la direction du président Joe Biden, le gouvernement des États-Unis agit rapidement et utilise tous les outils à sa disposition pour saisir les promesses de l'IA tout en gérant les risques », a déclaré Bruce Reed, chef de cabinet adjoint de la Maison-Blanche. « L'un des meilleurs leviers dont nous disposons pour bien faire les choses est de faire appel à des experts de la société civile, à des innovateurs technologiques et à des scientifiques. Nous sommes en train de constituer une équipe solide au sein du gouvernement pour suivre l'évolution de cette technologie, protéger nos intérêts et la façonner conformément à nos valeurs. »
« Je suis très heureux d'accueillir ces experts talentueux au sein de l'équipe dirigeante de l'Institut américain de sécurité de l'IA, afin d'aider à établir la science de la mesure qui soutiendra le développement d'une IA sûre et digne de confiance », a déclaré Laurie E. Locascio, sous-secrétaire d'État au commerce chargé des normes et de la technologie et directeur du NIST. « Chacun d'entre eux apporte une expérience unique qui aidera l'institut à établir une base solide pour la sécurité de l'IA à l'avenir. »
Paul Christiano, responsable de la sécurité de l'IA, concevra et réalisera des tests de modèles d'IA d'avant-garde, en se concentrant sur l'évaluation des modèles pour les capacités relevant de la sécurité nationale. Christiano fournira également des conseils sur la conduite de ces évaluations, ainsi que sur la mise en œuvre de mesures d'atténuation des risques afin d'améliorer la sûreté et la sécurité des modèles d'avant-garde. Christiano a fondé l'Alignment Research Center, un organisme de recherche à but non lucratif qui cherche à aligner les futurs systèmes d'apprentissage automatique sur les intérêts humains en faisant progresser la recherche théorique.
Il a également lancé une initiative de premier plan visant à réaliser des évaluations tierces des modèles d'avant-garde, aujourd'hui hébergée au sein de l'organisation Model Evaluation and Threat Research (METR). Auparavant, il a dirigé l'équipe chargée de l'alignement des modèles de langage à l'OpenAI, où il a été le premier à travailler sur l'apprentissage par renforcement à partir du retour d'information humain (RLHF), une technique fondamentale de sécurité de l'IA. Il est titulaire d'un doctorat en informatique de l'université de Californie à Berkeley et d'une licence en mathématiques du Massachusetts Institute of Technology.
Sources : U.S. Department of Commerce, NIST
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la nomination de Paul Christiano, compte tenu de sa prédiction selon laquelle l'intelligence artificielle avait une probabilité de 50 % de provoquer une apocalypse ?Voir aussi :
Il y a 50 % de chances que l'IA finisse par provoquer une catastrophe en raison de son risque majeur pour l'humanité, avertit Paul Christiano, un ancien chercheur d'OpenAI L'un des créateurs de ChatGPT pense que le développement des systèmes d'intelligence artificielle peut conduire à une catastrophe, une élimination des humains par les machines Il y a 15 % de chances d'avoir une IA capable de construire une sphère de Dyson d'ici 2030 et 40 % d'ici 2040, selon l'ancien responsable de l'alignement des modèles de langage d'OpenAI 
Envoyé par Fluxgraveon
