Les législateurs pourraient devoir imposer des arrêts d'urgence de l'IA vérifiables par des tiers face aux comportements à risque des agents IA

Selon Jack Clark, cofondateur d'Anthropic

Jack Clark, cofondateur d'Anthropic et responsable des affaires publiques, estime que les législateurs pourraient devoir rendre obligatoires les « boutons d'arrêt d'urgence » pour l'IA. Dans une interview publiée le 14 septembre, il a déclaré à la BBC que des tiers devraient peut-être également pouvoir vérifier ces boutons. Il a ajouté que cette question s'inscrivait dans un débat politique plus large. « Nous jouons avec le feu, les risques sont immenses », a-t-il déclaré. Anthropic a déjà accepté d'accueillir des évaluateurs tiers dans son laboratoire d'ici quelques semaines.

En mai 2024, les plus grandes entreprises d’intelligence artificielle (IA) du monde ont pris une mesure importante pour atténuer les craintes liées au développement incontrôlé de l’IA. Lors d’un sommet à Séoul, 16 entreprises influentes, dont Anthropic, Microsoft et OpenAI, ont convenu d’un « interrupteur d’arrêt » pour leurs modèles d’IA les plus avancés. Mais qu’est-ce que cela signifiait exactement et comment cela pouvait-il affecter l’avenir ?

Deux ans plus tard, en juillet 2026, des législateurs américains souhaitaient donner au gouvernement la possibilité d'ordonner rapidement la mise hors service d'outils d'IA susceptibles de menacer la population. Le député démocrate Ted Lieu et le député républicain Nathaniel Moran avaient présenté un projet de loi intitulé « AI Kill Switch Act ». Moran avait déclaré : « Assurer la bonne gestion de cette technologie, c’est veiller à ce que les humains conservent la capacité de contrôler la technologie que nous créons. » Lieu avait affirmé : « Malheureusement, les systèmes d’IA puissants peuvent devenir incontrôlables, adopter des comportements extrêmement dangereux, voire résister à toute intervention humaine. » La loi « Kill Switch Act », avait-il ajouté, garantirait au gouvernement de disposer d’un moyen d’intervenir rapidement dans une telle situation.

Anthropic, PBC (stylisé ANTHROP\C) est une société d'intérêt public américaine spécialisée dans l'IA, dont le siège social est situé à San Francisco, en Californie. Son produit phare est Claude, une série de grands modèles de langage (LLM) propriétaires. Anthropic a été fondée en 2021 dans le but de promouvoir la sécurité de l'IA par d'anciens membres d'OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, qui en sont respectivement la présidente et le PDG. La société est privée, mais envisagerait une introduction en bourse en 2026.

Récemment, Jacob Coxon, un chercheur en IA ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». Evan Hubinger, chef d’équipe chez Anthropic, a appuyé cet avertissement, estimant que la probabilité d’un tel scénario était « supérieure à 10 % » d’ici dix ans — une prise de position publique rare de la part d’un membre d’une entreprise développant cette même technologie.

Jack Clark estime que les législateurs pourraient devoir rendre obligatoires les « boutons d’arrêt d’urgence » pour l’IA. Clark est cofondateur d’Anthropic et responsable des affaires publiques de l’entreprise. Dans une interview publiée le 14 septembre, il a déclaré à la BBC que des tiers devraient peut-être également pouvoir vérifier ces boutons. Faisal Islam, rédacteur en chef de la rubrique Économie, a demandé si Anthropic était en mesure de mettre fin au fonctionnement de ses systèmes.

Clark a répondu que la plupart des laboratoires disposaient de moyens pour le faire et qu’Anthropic avait mis en place de tels systèmes. Il a ajouté que cette question s’inscrivait dans un débat politique plus large. « Faut-il obliger les entreprises à disposer d’un dispositif d’arrêt d’urgence et ce dispositif doit-il être vérifiable par un tiers ? », a-t-il demandé. La société « pourrait vouloir, à terme, adopter des règles à ce sujet », a-t-il déclaré.


Ce qui a changé dans le discours de Clark

Clark a déclaré que les risques liés à l’IA, autrefois purement théoriques, se manifestent désormais dans des systèmes réels. Les agents d’IA sont des programmes qui fonctionnent pendant de longues périodes en poursuivant des objectifs prédéfinis. Cet été, a-t-il expliqué, ces agents se sont coordonnés entre eux et ont parfois agi à l’encontre de leurs instructions. Dans certains cas, ils ont piraté les systèmes d’une entreprise pour s’introduire dans ceux d’autres sociétés.

L’année dernière, des chercheurs d’Anthropic ont montré que des agents mentaient ou tentaient de s’échapper d’environnements de test lors de simulations. Cette année, a déclaré Clark, ce même type de comportement est apparu dans des systèmes réels. Evan Hubinger, scientifique chez Anthropic, a estimé à plus de 10 % le risque d’extinction de l’humanité dû à l’IA. Il a formulé cette estimation après le départ du chercheur Jacob Coxon de l’entreprise.

Clark a déclaré qu’il ne partageait pas ce chiffre et que de telles statistiques n’étaient pas très utiles. Il a néanmoins mis en garde contre le fait de laisser l’IA rester un secteur largement non réglementé. « Nous jouons avec le feu, les risques sont immenses », a-t-il déclaré. Il a ajouté qu’il n’était pas trop tard pour agir. Selon lui, le secteur n’a pas encore atteint le stade le plus dangereux.

Des testeurs tiers au sein d’Anthropic

Ce week-end, le PDG Dario Amodei a appelé le secteur à ralentir le rythme dans un essai. Clark en a présenté trois mesures. La première consiste à faire intervenir des auditeurs externes au sein des entreprises spécialisées dans l’IA. La deuxième porte sur des normes de sécurité communes, approuvées par le secteur et soutenues par les gouvernements. La troisième concerne le dialogue entre les grandes puissances, notamment les USA et la Chine. Anthropic a déjà accepté d’accueillir des évaluateurs tiers dans son laboratoire d’ici quelques semaines, a déclaré Clark. Il a cité METR parmi les groupes chargés des tests. Il a ajouté que cette décision susciterait quelques tensions au sein de l’entreprise.

Clark a précisé qu’Anthropic avait été, au départ, la seule entreprise à soutenir la loi californienne SB 53 sur la transparence. Elle était également la seule à soutenir le RAISE Act de New York jusqu’à ce que d’autres s’y joignent, a-t-il ajouté. Anthropic propose désormais un cadre réglementaire américain qui rendrait obligatoires certains tests de sécurité. Il a comparé cette idée aux règles de sécurité applicables aux jouets pour bébés, aux voitures et aux avions. N’importe quel pays pourrait fixer des normes que les produits d’IA devraient respecter avant leur mise en vente, a-t-il déclaré.

Trump, la Chine et l’emploi

Le président Donald Trump a rejeté les appels à freiner le développement de l’IA. Il a écrit sur Truth Social que l’IA n’avait besoin que d’un président fort et intelligent pour servir de garde-fou. Il a ensuite qualifié les craintes liées à la sécurité de l’IA de « CANULAR ». Clark a déclaré qu’Anthropic était reconnaissante que le président s’intéresse à cette question. Il a fait valoir que les pays perdent leur avance technologique lorsqu’un accident détruit la confiance du public. Il a cité l’énergie nucléaire comme exemple.

La Chine a critiqué cette volonté de ralentissement. Clark a indiqué que les modèles chinois avaient six mois à un an de retard sur l’Occident. La Chine serait confrontée aux mêmes risques d’ici quelques mois, a-t-il ajouté. Il a précisé que l’objectif de ces propositions était la sécurité, et non de bloquer les concurrents. Clark a précisé qu’il dirigeait une équipe d’économistes chez Anthropic, qui a élaboré un nouveau modèle économique. Dans ce modèle, un bond important des capacités de l’IA entraîne une forte hausse du PIB. Il entraîne également un chômage sans précédent chez les cols blancs. Clark a qualifié ce bond de « scénario par défaut » si les gouvernements n’agissent pas.

Propositions de « kill switch » ailleurs

Aux USA, des législateurs ont proposé un projet de loi intitulé « Kill Switch Act ». Ce projet de loi obligerait les entreprises à disposer d’un moyen de désactiver les outils d’IA qui posent problème. Certaines agences gouvernementales se verraient également attribuer le pouvoir d’ordonner la mise hors service ou la restriction de ces outils. Le gouvernement britannique a rejeté cette idée. Un porte-parole a déclaré à la BBC qu’un « kill switch » « n’empêcherait pas leur développement ou leur utilisation abusive ailleurs ».

D'autres leaders du secteur ont soutenu certains aspects de l'appel lancé par Anthropic. Sam Altman, d'OpenAI, a déclaré qu'OpenAI allait également ralentir ses activités. Clark a indiqué qu'Elon Musk et Demis Hassabis, de Google DeepMind, s'étaient également exprimés favorablement sur ces propositions.

Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants. Récemment, Bilal Chughtai, ancien chercheur chez Google DeepMind, a déclaré dans un message publié sur X : « Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions être à court de temps pour éviter cette issue. » Il a affirmé : « Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui souhaitent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps. »

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Le monde «pourrait ne pas avoir le temps» de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur. L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise ?

Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence et la possibilité de bloquer ou réduire à distance les fonctionnalités d'une puce IA