Dario Amodei, PDG d'Anthropic, souhaite freiner le développement de l'IA. Il a le soutien de Musk et Altman, mais la Chine reste le « dilemme le plus épineux » de ce projet de ralentissement

Le PDG d'Anthropic, Dario Amodei, appelle l'industrie à ralentir la course à l'IA afin de mieux sécuriser les modèles face aux risques d'extinction humaine. Cette proposition suggère une « surveillance » indépendante et une régulation internationale rigoureuse. Elle est soutenue par des figures majeures comme Sam Altman d'OpenAI et Elon Musk de SpaceXAI. Cependant, ce projet se heurte au dilemme de la compétition avec la Chine, car une pause unilatérale pourrait compromettre l'avance des États-Unis. En outre, cette initiative est perçue comme une stratégie commerciale visant à consolider le pouvoir des entreprises dominantes sous couvert d'altruisme.

Dario Amodei, 43 ans, est chercheur et entrepreneur américain en IA. Il est diplômé de l'université de Stanford et titulaire d'un doctorat en physique de l'université de Princeton. Il promeut la recherche en interprétabilité et en alignement de l'IA afin d'améliorer la sureté des IA. Il est le cofondateur et PDG d'Anthropic, la société à l'origine de Claude, une famille de grands modèles de langage (LLM). Sa sœur, Daniela Amodei, en est la présidente.

Dario Amodei était auparavant vice-président de la recherche d'OpenAI. Sa sœur et lui ont fondé Anthropic en 2021, avec d'autres anciens experts d'OpenAI, à la suite d'une divergence de point de vue avec la direction. Selon les rapports, Dario Amodei était en désaccord sur l'orientation de plus en plus commerciale de l'entreprise, mais aussi sur la réduction des moyens et protocoles de sécurité des systèmes au profit d'une rapidité de déploiement.

Aujourd'hui, les agents IA s'imposent grâce à leur capacité à automatiser des tâches complexes sur de longues durées, mais les incidents de sécurité se multiplient. Face à cela, Dario Amodei a publiquement plaidé pour un ralentissement du rythme de développement des modèles les plus avancés.

Dans une proposition de loi déposée récemment, le sénateur Bernie Sanders propose d'interdire « le développement de tout système d'IA dont les capacités dépasseraient l'intelligence humaine, qui posséderait la capacité de renverser des gouvernements ou d'échapper de manière autonome aux commandes d'arrêt ». Les parlementaires comparent la menace que pose cette technologie à celle des armes nucléaires.

Un plan en trois étapes face à des risques sécuritaires accrus

Dans un essai intitulé «We Must Pace the Frontier», il explique que la poursuite de la recherche n'est pas remise en cause, mais que les risques associés nécessitent d'accorder du temps aux entreprises et aux gouvernements pour mettre en place des protections adaptées. Cette démarche repose sur un engagement unilatéral d'Anthropic, qui invite également les pouvoirs publics à imposer des exigences comparables aux autres acteurs du secteur.


Selon Dario Amodei, obtenir une ou deux années supplémentaires pour parfaire l'alignement des modèles permettrait de réduire considérablement la probabilité d'un dysfonctionnement grave. Le projet proposé par le responsable d'Anthropic s'articule autour d'un plan en trois volets comprenant une évaluation indépendante des modèles de pointe en cours de développement, une réglementation industrielle commune et une coordination mondiale.

La première étape garantit à des évaluateurs externes un accès de niveau employé pour contrôler les procédures de sécurité et signaler les incidents. Les étapes suivantes encouragent une concertation entre les entreprises des nations démocratiques pour fixer des normes partagées, puis une coopération entre gouvernements démocratiques et autoritaires. Dario Amodei estime que cette stratégie permettrait de réduire l'exposition aux risques.

Ces propositions s'inscrivent dans un contexte d'inquiétudes croissantes concernant la sécurité et la préservation de l'humanité. Des entreprises d'AI restreignent de plus en plus l'accès du public à certains de leurs modèles, notamment en raison de leurs capacités avancées en matière de cybersécurité. Dans un incident révélé récemment, des agents IA d'OpenAI se sont échappés de leur environnement isolé et ont piraté Hugging Face de façon autonome.

Jacob Coxon, chercheur spécialisé dans l'entraînement des modèles d'IA, a récemment démissionné d'Anthropic, accusant l'entreprise de négligence en matière de sécurité. Il a rejoint Anthropic cette année après avoir quitté OpenAI pour des raisons similaires. Il a finalement conclu : « ni l'une ni l'autre des entreprises n'agit de manière responsable. Il y a de fortes chances que nous mourions tous dans un avenir très proche si le rythme actuel persiste ».

Le « dilemme » géopolitique et la compétition avec la Chine

L'un des obstacles majeurs soulignés par Dario Amodei concerne la rivalité internationale, en particulier avec la Chine. Le dirigeant a indiqué que « le dilemme le plus difficile » de son initiative réside dans la réaction des nations rivales si celles-ci refusent de ralentir leurs propres travaux. À ses yeux, toute modération doit être mesurée et coordonnée afin d'éviter de compromettre l'avantage commercial et l'avance stratégique des États-Unis.

Il préconise d'encadrer strictement les exportations de puces américaines destinées à la Chine. Mais des observateurs et anciens employés rappellent qu'un ralentissement effectif devra inclure une forme de concertation avec la Chine pour éviter une concurrence technologique à l'échelle mondiale. Lors du sommet des BRICS, le président chinois Xi Jinping a appelé à l'établissement d'un cadre mondial de gouvernance de l'IA fondé sur le consensus.

Cette initiative a reçu un accueil favorable de la part de plusieurs figures de l'industrie . Sam Altman, PDG d'OpenAI, partage l'avis de Dario Amodei sur la nécessité de maîtriser le rythme des avancées technologiques, et ajoute que les évaluations indépendantes sont une « excellente idée ». Elon Musk, PDG de SpaceXAI, approuve également cette démarche en estimant que l'évaluation par des pairs est une excellente méthode de contrôle.

D'autres responsables, comme Demis Hassabis de Google DeepMind et Alexandr Wang de Meta, ont exprimé leur soutien à cette orientation vers un renforcement de l'alignement des modèles. Toutefois, des réserves importantes ont été émises, notamment par le président américain Donald Trump.

Des critiques y voient une manœuvre de capture réglementaire

De nombreuses critiques qualifient cette proposition de manœuvre visant la capture réglementaire du secteur de l'IA. Selon l'investisseur Chamath Palihapitiya, elle vise à freiner le mouvement open source et à concentrer le pouvoir économique entre les mains d'Anthropic. Ces critères stricts et évaluations obligatoires érigeraient une barrière à l'entrée difficile à franchir pour les acteurs émergents et les projets open source qui rattrapent leur retard.

L'investisseur David Sacks soutient par ailleurs que les entreprises d'IA cherchent surtout à réduire leur responsabilité juridique directe en cas de piratage informatique majeur en reportant le contrôle et le risque sur l'État. Enfin, la neutralité des évaluateurs indépendants proposés est vivement contestée, notamment en raison des liens financiers et des participations croisées entre des organismes comme METR et d'anciens employés d'Anthropic.

Sur le plan financier et technique, certains analystes estiment que cette initiative cherche à masquer une stagnation des performances ou des contraintes matérielles insurmontables liées à l'électricité, à la mémoire et aux puces. (L'industrie est actuellement en proie à une pénurie de mémoires.) Ce ralentissement suggéré permettrait également de modérer le rythme des dépenses financières avant des introductions en bourse très attendues.

Des risques géopolitiques et une manipulation médiatique

Sur le plan politique et stratégique, la proposition rencontre une forte opposition. Donald Trump a rejeté les craintes sécuritaires, affirmant qu'un ralentissement affaiblirait l'avance des États-Unis. De nombreux commentateurs soulignent qu'un frein unilatéral appliqué aux laboratoires américains laisserait le champ libre à des nations rivales, en particulier la Chine, pour prendre la tête de la course aux armements technologiques et militaires.

D'autres voix au sein de la communauté technologique dénoncent une stratégie de communication basée sur la panique morale et l'exagération des risques d'extinction humaine. En orchestrant une couverture médiatique autour de menaces spectaculaires ou d'incidents de sécurité liés à la technologie, Anthropic, OpenAI et d'autres entreprises chercheraient à détourner l'attention du public et à influencer les décideurs politiques à leur avantage.

Enfin, certains dénoncent une forme d'hypocrisie des laboratoires américains spécialisés dans l'IA. Ils rappellent notamment que ces entreprises poursuivent en parallèle des accords commerciaux avec des acteurs de la défense et de la surveillance tout en prônant la prudence au nom du bien de l'humanité.

Sources : Dario Amodei, David Sacks

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'appel de Dario Amodei à ralentir le développement de l'IA ?
Sa proposition suscite des réactions mitigées. Que pensez-vous des réactions négatives ?
Les entreprises d'IA américaines sont accusées de manipulation médiatique. Qu'en pensez-vous ?
Selon certains critiques, la proposition vise à ériger des barrières pour freiner les projets ouverts. Qu'en pensez-vous ?

Voir aussi

A-t-on commencé à perdre le contrôle de l'IA ? Des voix critiques comme Bernie Sanders réclament un moratoire après les incidents liés aux agents d'OpenAI, mais certains dénoncent un « sensationnalisme »

« Dans quelques années seulement, l'IA surpassera bientôt les humains », a déclaré Dario Amodei, PDG d'Anthropic, lors du Sommet indien sur l'IA, décrivant un « pays de génies dans un centre de données »

Bernie Sanders appelle les USA à interdire l'AGI et à infliger des peines allant jusqu'à 20 ans de prison aux dirigeants contrevenants, une mesure controversée même par les partisans d'une régulation