Sans mesures de protection adéquates, une IA puissante et non réglementée pourrait causer des dommages graves et « potentiellement irréversibles », a rapporté le gouverneur de Californie

Sans mesures de protection adéquates, une IA puissante et non réglementée pourrait causer des dommages graves et « potentiellement irréversibles », a rapporté le gouverneur de Californie

Sans mesures de protection adéquates, une intelligence artificielle (IA) puissante et non réglementée pourrait causer des dommages graves et « potentiellement irréversibles », a averti un rapport sur la politique en matière d'IA de pointe rendu public par le gouverneur de Californie, Gavin Newsom, le mardi 17 juin 2025 dernier.

Cet avertissement fait suite à une série de mesures législatives prises en Californie, où le gouverneur Gavin Newsom a récemment signé neuf projets de loi visant à réglementer les contenus générés par l'IA afin de répondre aux risques liés aux "deepfakes". Ces lois concernent notamment les acteurs et les interprètes, l'utilisation abusive de contenus générés par l'IA et l'utilisation de cette technologie dans les campagnes électorales.

Le rapport de 53 pages sur la politique en matière d'IA de pointe, rédigé par d'éminents universitaires, a été publié alors que la Chambre des représentants des États-Unis a récemment adopté le "grand et beau" projet de loi budgétaire de Donald Trump qui, s'il est promulgué, interdira aux États d'appliquer des lois réglementant l'utilisation abusive de l'IA pendant une décennie.

Le projet de loi fédéral éliminerait donc les interdictions existantes en Californie concernant les contenus pédopornographiques générés par l'IA, la pornographie deepfake et les escroqueries par appels automatisés visant les personnes âgées américaines.

« Ce moratoire signifierait que même si une entreprise concevait délibérément un algorithme causant des dommages prévisibles, l'entreprise à l'origine de cette technologie néfaste ne serait pas tenue de rendre des comptes aux législateurs et au public », a averti le rapport californien, citant les lettres d'opposition de plus de 140 organisations.

Plus de 40 procureurs généraux d'État se sont joints à l'opposition, écrivant aux dirigeants du Congrès pour exprimer leurs préoccupations quant au fait de laisser les Américains vulnérables aux menaces liées à l'IA, selon le document californien.


Les préoccupations récentes en matière de sécurité de l'IA se sont intensifiées, les grandes entreprises signalant que leurs modèles approchent des seuils de capacité dangereux.

OpenAI a déclaré en février dernier que les niveaux de risque étaient « moyens » dans les catégories des armes chimiques, biologiques, radiologiques et nucléaires, selon le rapport californien.

Anthropic a noté qu'il existe « une probabilité substantielle que notre prochain modèle nécessite des mesures de sécurité ASL-3 » pour les systèmes qui pourraient aider des individus à créer des armes de destruction massive.

Selon le rapport californien sur la politique en matière d'IA de pointe, les innovations qui émergent à la frontière de l'IA sont sur le point de créer des opportunités historiques pour l'humanité, mais elles soulèvent également des défis politiques complexes. Le document note que les progrès continus dans le domaine de l'IA de pointe sont susceptibles d'entraîner des avancées profondes en matière de découvertes scientifiques, de productivité économique et de bien-être social au sens large.

« En tant que centre névralgique de l'innovation mondiale en matière d'IA, la Californie a une occasion unique de continuer à soutenir les développements à la pointe de l'IA tout en s'attaquant aux risques substantiels qui pourraient avoir des conséquences profondes pour l'État et au-delà », peut-on lire dans le rapport.

Selon les auteurs, le rapport s'est appuyé sur de nombreuses preuves, notamment des recherches empiriques, des analyses historiques, des modélisations et des simulations, afin de fournir un cadre pour l'élaboration de politiques à la pointe du développement de l'IA. Les universitaires soulignent qu'en s'appuyant sur une approche multidisciplinaire, ils ont défini des principes politiques qui peuvent éclairer la manière dont la Californie aborde l'utilisation, l'évaluation et la gouvernance de l'IA de pointe, avec des principes ancrés dans une philosophie de « confiance mais avec vérification ». Cette approche, tiendrait compte de l'importance de l'innovation tout en établissant des stratégies appropriées pour réduire les risques matériels.

Le rapport californien précise qu'il ne se prononce ni pour ni contre une législation ou une réglementation particulière. Au contraire, il examine les meilleures recherches disponibles sur les modèles de fondation et présente les principes politiques fondés sur ces recherches que les responsables politiques pourraient prendre en considération pour élaborer de nouvelles lois et réglementations régissant le développement et le déploiement de l'IA de pointe en Californie. Ces principes ne s'excluent pas mutuellement, selon les auteurs, mais forment un ensemble qui peut éclairer de manière solide la politique californienne en matière d'IA.

Bien que le rapport californien aborde une série de sujets clés liés à la manière dont la Californie peut tirer le meilleur parti des avantages de l'IA et réduire ses risques, les auteurs indiquent qu'ils se sont concentrés principalement sur les questions soulevées par la gouvernance des modèles d'IA de pointe, conformément à la compréhension du Groupe de travail du gouverneur Gavin Newsom. Le document ne vise donc pas à traiter l'ensemble des questions politiques importantes qui découlent de l'augmentation de la puissance et de la prolifération de l'IA générative dans de nombreux aspects de la vie en Californie. « Par exemple, le rapport ne traite pas de l'impact de l'IA sur le travail et l'avenir de l'emploi, ni de l'impact des centres de données à grande échelle qui alimentent l'IA sur l'environnement, ni de l'ensemble des utilisations abusives possibles des capacités de l'IA. » Ces défis, ainsi que d'autres défis connexes, offrent des opportunités supplémentaires de collaboration entre experts de différentes disciplines et de différents secteurs, selon les universitaires à l'origine du rapport.


Les principes clés préconisées par le rapport

Selon le document californien, les interventions ciblées visant à soutenir une gouvernance efficace de l'IA doivent trouver un équilibre entre les avantages de la technologie et les risques matériels, car cette approche est conforme aux données disponibles et aux principes solides de l'analyse politique.
Les auteurs notent que les avancées pionnières de la Californie en matière d'IA pourraient avoir des effets transformateurs dans divers domaines, notamment « l'agriculture, la biotechnologie, les technologies propres, l'éducation, la finance, la médecine et la santé publique, ainsi que les transports ». Toutefois, ils avertissent également contre le fait que « sans garanties appropriées, une IA puissante pourrait causer des dommages graves et, dans certains cas, potentiellement irréversibles ».

Toujours selon auteurs, l'élaboration de politiques en matière d'IA fondées sur la recherche empirique et des techniques d'analyse politique solides devrait s'appuyer rigoureusement sur un large éventail de données.
Cette approche de l'élaboration de politiques fondées sur des preuves intègre non seulement les dommages observés, mais aussi des prévisions et des analyses fondées sur des méthodes techniques et l'expérience historique, à l'aide d'outils tels que des comparaisons de cas, des modélisations, des simulations et des tests contradictoires.

Le rapport souligne en outre l'importance des choix de conception précoces dans l'élaboration de cadres politiques flexibles et robustes.
Les universitaires notent que ces choix peuvent créer des dépendances durables qui façonnent l'évolution des systèmes critiques, comme le montrent les études de cas sur la création d'Internet. Afin d'atténuer les risques, le rapport recommande aux décideurs politiques de mener de manière proactive des évaluations des risques et d'élaborer des stratégies appropriées d'atténuation des risques afin d'intégrer les considérations de sécurité dans les choix de conception précoces.

Afin de mettre en place un environnement solide et transparent fondé sur des données probantes, le document suggère que les décideurs politiques peuvent harmoniser les mesures incitatives afin de protéger les consommateurs, de tirer parti de l'expertise du secteur et de reconnaître les meilleures pratiques en matière de sécurité.
Selon les auteurs, cela peut être réalisé en imposant au secteur l'obligation de publier des informations sur ses systèmes, sur la base de normes claires élaborées par les décideurs politiques. Le rapport cite des études de cas provenant du secteur des produits de consommation et de l'industrie énergétique comme exemples des avantages de cette approche, qui peut contribuer à mettre en place des mécanismes robustes permettant de vérifier de manière indépendante les allégations en matière de sécurité et les évaluations des risques.

D'après le rapport californien, une plus grande transparence, compte tenu des lacunes actuelles en matière d'information, peut favoriser la responsabilité, la concurrence et la confiance du public dans le cadre d'une approche fondée sur la confiance, mais assortie de vérifications.
Selon les auteurs, plusieurs recherches ont démontré que le secteur de l'IA n'a pas encore établi de normes de transparence concernant les modèles de fondation, ce qui entraîne « une opacité systémique dans des domaines clés ». Comme indiqué dans le document, « une politique qui favorise la transparence peut permettre une prise de décision plus éclairée pour les consommateurs, le public et les futurs décideurs politiques ».

Par ailleurs, le rapport californien identifie la protection des lanceurs d'alerte, les évaluations par des tiers et le partage d'informations avec le public comme des instruments essentiels pour accroître la transparence.
Le document affirme que des politiques soigneusement élaborées peuvent améliorer la transparence dans des domaines où il existe actuellement un déficit d'information, tels que l'acquisition de données, les pratiques en matière de sûreté et de sécurité, les tests préalables au déploiement et les impacts en aval. « Des protections claires des lanceurs d'alerte et des refuges sûrs pour les évaluateurs tiers peuvent permettre une transparence accrue, au-delà des informations divulguées par les développeurs de modèles de fondation », indiquent les auteurs.

Le document californien précise que les systèmes de notification des événements indésirables permettent de surveiller les impacts post-déploiement de l'IA et d'adapter en conséquence les autorités réglementaires ou chargées de l'application de la loi existantes.
Le rapport note que même des politiques de sécurité parfaitement conçues ne peuvent empêcher à 100 % les conséquences indésirables importantes. Comme l'explique les auteurs, il est de plus en plus important de comprendre les dommages qui surviennent dans la pratique à mesure que les modèles de fondation sont de plus en plus largement adoptés. Ils suggèrent que les autorités réglementaires existantes pourraient fournir des voies claires pour traiter les risques mis en évidence par un système de notification des événements indésirables, ce qui ne nécessite pas nécessairement une autorité réglementaire spécifique à l'IA. En outre, le document indique que l'examen des autorités réglementaires existantes peut aider à identifier les lacunes réglementaires qui pourraient nécessiter la création d'une nouvelle autorité.

Le rapport souligne finalement que les seuils pour les interventions politiques, tels que les exigences de divulgation, l'évaluation par des tiers ou la notification des événements indésirables, devraient être conçus de manière à s'aligner sur des objectifs de bonne gouvernance.
« La détermination des entités couvertes par une politique implique souvent la fixation de seuils, tels que les coûts de calcul mesurés en FLOP ou l'impact en aval mesuré en utilisateurs, [toutefois] les seuils sont souvent des outils imparfaits mais nécessaires à la mise en œuvre des politiques », indiquent les auteurs. Les auteurs estiment ainsi qu'une articulation claire des résultats politiques souhaités peut guider la conception de seuils appropriés. Le rapport californien recommande donc aux décideurs politiques de veiller à ce que des mécanismes soient en place pour adapter les seuils au fil du temps, non seulement en mettant à jour les valeurs seuils spécifiques, mais aussi en révisant ou en remplaçant les indicateurs si nécessaire.

Alors que le rapport californien offre un cadre complet à la Californie pour aborder les opportunités et les défis liés à l'IA avancée, le projet de loi interdisant aux États d'appliquer des lois régissant l'IA pendant dix ans est très impopulaire auprès du public. Selon un récent sondage, une large majorité de citoyens des deux bords politiques s’opposent à l’idée d’interdire aux États de réguler l’IA, invoquant des préoccupations concernant la sécurité des plus jeunes à l'ère de l'IA.

Source : Rapport sur la politique en matière d'IA de pointe

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les recommandations du rapport californien sur l'IA sont crédibles ou pertinentes ?

Voir aussi :

Le projet de loi californien sur l'IA menace-t-il l'innovation ou protège-t-il la société ? Google, Meta et OpenAI s'y opposent, arguant qu'il pourrait freiner l'innovation, tandis qu'Elon Musk le soutient

Le projet de loi californien SB-1047 vise à prévenir les catastrophes potentielles liées à l'IA, mais les critiques craignent que l'accent mis sur les menaces existentielles de futures IA ne nuise à la R&D