La loi californienne « Safe and Secure Innovation for Frontier Artificial Intelligence Models Act » (alias SB-1047) a fait couler beaucoup d'encre et suscité un débat sur la « sécurité » générale des grands modèles d'intelligence artificielle. Bien que le projet de loi vise à prévenir les catastrophes potentielles liées à l’IA, les critiques craignent que l'accent exagéré mis par le projet de loi sur les menaces existentielles posées par les futurs modèles d'intelligence artificielle ne limite considérablement la recherche et le développement d'utilisations plus prosaïques et non menaçantes de l'intelligence artificielle aujourd'hui.Le 7 février 2024, le Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act (SB 1047) a été présenté au Sénat californien. Le projet de loi vise à imposer une diligence raisonnable, des tests et des conclusions supplémentaires pour certains modèles d'intelligence artificielle couverts avant leur utilisation commerciale, publique ou à grande échelle.
La proposition de loi impose aux développeurs de systèmes d'intelligence artificielle de s'assurer que leurs modèles ne possèdent pas de capacités dangereuses, telles que la création d'armes biologiques ou nucléaires ou l'aide aux attaques de cybersécurité. Le projet de loi, qui a déjà été adopté par le Sénat de l'État le 21 mai 2024 et devrait être soumis au vote de l'assemblée générale en août, exige également des développeurs qu'ils rendent compte de leurs tests de sécurité et qu'ils mettent en place un « interrupteur d'arrêt » pour désactiver leurs modèles en cas de besoin.
Le projet de loi vise les grandes start-ups d'IA comme OpenAI, Anthropic et Cohere, ainsi que les grands modèles de langage des géants de la technologie tels que Meta. Le sénateur démocrate de l'État, Scott Wiener, qui a présenté le projet de loi, a souligné la nécessité de mesures de sécurité proactives en déclarant : « Fondamentalement, je souhaite que l'IA réussisse et que l'innovation se poursuive, mais essayons d'anticiper tout risque en matière de sécurité ». Il a décrit le projet de loi comme une mesure « légère » visant à garantir des évaluations de sécurité de base et l'atténuation des risques.
Un cadre juridique qui s'articule autour des « incidents de sécurité », entre autres ceux causés par l'IA... de son propre chef
Il a été adopté par le Sénat de Californie en mai par 32 voix contre 1 et semble bien placé pour un vote final à l'Assemblée de l'État au mois d'août. Le texte du projet de loi exige que les entreprises à l'origine de modèles d'IA suffisamment importants (actuellement fixés à 100 millions de dollars en coûts de formation et à la puissance de calcul approximative qu'impliquent ces coûts aujourd'hui) mettent en place des procédures et des systèmes de test pour prévenir et réagir aux « incidents de sécurité ».
Le projet de loi donne une définition juridique de ces incidents de sécurité qui, à son tour, se concentre sur la définition d'un ensemble de « dommages critiques » qu'un système d'IA pourrait permettre. Il s'agit notamment de préjudices entraînant « des pertes massives ou des dommages d'au moins 500 millions de dollars », tels que « la création ou l'utilisation d'une arme chimique, biologique, radiologique ou nucléaire » ou « des instructions précises pour mener une cyberattaque [...] sur une infrastructure critique ». Le projet de loi fait également allusion à « d'autres préjudices graves pour la sécurité publique qui sont d'une gravité comparable » à ceux énoncés explicitement.
Le créateur d'un modèle d'IA ne peut être tenu responsable des dommages causés par le partage d'informations « accessibles au public » provenant de l'extérieur du modèle - le simple fait de demander à un LLM de résumer The Anarchist Cookbook (Le Livre de recettes anarchistes, un livre de l'écrivain américain William Powell rédigé comme manifeste contre le gouvernement des États-Unis et la guerre du Viet Nam) ne le mettrait probablement pas en infraction avec la loi, par exemple. Le projet de loi semble plutôt se préoccuper des futures IA qui pourraient créer de « nouvelles menaces pour la sûreté et la sécurité publiques ». Plus qu'un humain utilisant une IA pour trouver des idées nuisibles, SB-1047 se concentre sur l'idée d'une IA « s'engageant de manière autonome dans un comportement autre que celui demandé par un utilisateur » tout en agissant « avec une surveillance, une intervention ou une supervision humaine limitée ».
Pour éviter cette éventualité digne de la science-fiction, toute personne entraînant un modèle suffisamment grand doit « mettre en œuvre la capacité de procéder rapidement à un arrêt complet » et mettre en place des politiques pour déterminer quand un tel arrêt serait effectué, parmi d'autres précautions et tests. Le projet de loi met également l'accent sur des actions de l'IA qui nécessiteraient « une intention, une imprudence ou une négligence grave » si elles étaient effectuées par un humain, ce qui suggère un degré d'autonomie qui n'existe pas dans les grands modèles de langage d'aujourd'hui.
Scott Wiener, législateur démocrate au Sénat de l'État de Californie, propose une législation visant à réglementer l'IA
Skynet, les origines ?
Ce type de formulation dans le projet de loi reflète probablement les craintes particulières de son rédacteur initial, le cofondateur du Center for AI Safety (CAIS), Dan Hendrycks. Dans un article paru dans Time Magazine en 2023, Hendrycks avance l'argument existentiel maximaliste selon lequel « les pressions évolutives inculqueront probablement aux IA des comportements favorisant l'auto-préservation » et conduiront à « une voie vers leur supplantation en tant qu'espèce dominante de la Terre ».
Si Hendrycks a raison, une loi comme la SB-1047 semble être une précaution de bon sens - en fait, elle pourrait ne pas aller assez loin. Les partisans du projet de loi, dont Geoffrey Hinton et Yoshua Bengio, sommités de l'IA, sont d'accord avec Hendrycks pour dire que le projet de loi est une étape nécessaire pour prévenir les dommages catastrophiques potentiels causés par les systèmes d'IA avancés.
« Les systèmes d'IA dépassant un certain niveau de capacité peuvent poser des risques significatifs pour les démocraties et la sécurité publique », a écrit Bengio dans un soutien au projet de loi. « C'est pourquoi ils doivent être testés correctement et soumis à des mesures de sécurité appropriées. Ce projet de loi propose une approche pratique pour y parvenir et constitue une étape importante vers les exigences que j'ai recommandées aux législateurs ».
Cependant, les critiques soutiennent que la politique en matière d'IA ne devrait pas être guidée par des craintes farfelues de systèmes futurs qui ressemblent plus à de la science-fiction qu'à des technologies actuelles. « Le SB-1047 a été rédigé à l'origine par des groupes à but non lucratif qui croient à la fin du monde par une machine sensible, comme le Center for AI Safety de Dan Hendrycks », a déclaré Daniel Jeffries, une voix éminente dans la communauté de l'IA. « Vous ne pouvez pas partir de ce postulat et créer un projet de loi de sécurité sain, solide et léger ».
« Si nous voyons ici un comportement de recherche de pouvoir, ce n'est pas de la part des systèmes d'IA, mais des prophètes de malheur de l'IA », a ajouté l'expert en politique technologique Nirit Weiss-Blatt. « Avec leurs peurs fictives, ils tentent de faire passer une législation fictive qui, selon de nombreux experts en IA et défenseurs de l'open source, pourrait ruiner l'avantage technologique de la Californie et des États-Unis. »
L'opposition de l'industrie
La proposition de loi a suscité une vive opposition de la part de l'industrie technologique, en particulier dans la Silicon Valley. Ses détracteurs estiment qu'elle pourrait étouffer l'innovation et pousser les jeunes pousses de l'IA à quitter la Californie. Andrew Ng, éminent informaticien et membre du conseil d'administration d'Amazon, a critiqué le projet de loi en déclarant : « Si quelqu'un voulait élaborer des réglementations pour étouffer l'innovation, il pourrait difficilement faire mieux. Il crée des responsabilités massives pour des risques de science-fiction, et alimente ainsi la peur chez tous ceux qui osent innover ».
Arun Rao, chef de produit pour l'IA générative chez Meta, a également fait part de ses inquiétudes, qualifiant le projet de loi « d'irréalisable » et avertissant qu'il pourrait « mettre fin à l'open source en [Californie] ». Il a ajouté que l'impact économique pourrait être substantiel, coûtant potentiellement des milliards lorsque les entreprises et les travailleurs hautement rémunérés quitteront l'État.
Malgré les réactions négatives, Wiener reste attaché au projet de loi, déclarant : « Il s'agit du secteur technologique, qui n'aime pas les réglementations, et je ne suis donc pas du tout surpris qu'il y ait des réactions négatives ». Il a également fait part de son intention d'amender le projet de loi afin d'en clarifier le champ d'application, notamment en exemptant les modèles open source de l'obligation de « kill switch » et en limitant l'application du projet de loi aux grands modèles dont la formation a coûté au moins 100 millions de dollars.
Un contexte réglementaire plus large
Le débat sur la réglementation de l'IA ne se limite pas à la Californie. Les gouvernements du monde entier s'efforcent de gérer les progrès rapides de la technologie de l'IA. En octobre, le président américain Joe Biden a publié un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. Le gouvernement britannique a également présenté des projets de réglementation de l'IA, et l'Union européenne a adopté une législation complète visant à mettre en place des garde-fous pour cette technologie.
Edward Snowden, le lanceur d'alerte qui a révélé les programmes de surveillance mondiale du gouvernement américain, s'est exprimé sur la question lors d'un appel vidéo à l'occasion de l'événement SuperAI à Singapour. Il a mis en garde contre une réglementation excessive en déclarant : « Nous assistons à la naissance d'un enfant doté d'une technologie entièrement nouvelle, et nous voyons déjà les loups-garous commencer à tourner en rond. » Snowden s'est dit préoccupé par le fait que les efforts de réglementation pourraient étouffer le potentiel de l'IA, ajoutant : « La panique liée à la sécurité de l'IA en général est quelque chose qui me pose problème. »
La croissance rapide et l'énorme potentiel de l'IA ont suscité des inquiétudes quant à la sécurité de cette technologie. L'année dernière, le milliardaire Elon Musk, investisseur de la première heure dans la société OpenAI, productrice de ChatGPT, l'a qualifiée de « menace existentielle » pour l'humanité. Cette semaine, un groupe d'anciens et d'actuels employés d'OpenAI a publié une lettre ouverte dans laquelle ils avertissent que les « entreprises d'IA pionnières » ne sont pas suffisamment surveillées par les gouvernements et qu'elles posent de « graves risques » pour l'humanité.
Sources : SB 1047, Yoshua Bengio, Dan Hendrycks
Et vous ?
Quels sont les avantages et les inconvénients de la réglementation de l’IA ? Pensez aux effets positifs et négatifs de la loi sur l’innovation, la sécurité et la protection du public. Quelles sont les limites de la définition des « dommages critiques » dans le projet de loi ? Explorez si cette définition est suffisamment large pour couvrir tous les scénarios possibles ou si elle pourrait exclure certains risques. Comment pouvons-nous équilibrer la sécurité et l’innovation dans le domaine de l’IA ? Partagez vos idées sur la manière dont nous pouvons protéger la société tout en favorisant le développement technologique. Quelles autres mesures pourraient être prises pour prévenir les catastrophes liées à l’IA ? Réfléchissez aux solutions alternatives ou complémentaires pour garantir la sécurité tout en encourageant l’exploration de l’IA. 
