Anthropic mise sur des évaluateurs indépendants en matière d'IA et souhaite ralentir le rythme de développement, mais le PDG de Nvidia, quant à lui, souhaite que cela se fasse « aussi vite que possible »

Les dirigeants d’Anthropic, de Nvidia et d’OpenAI ont présenté, lors de la conférence Dreamforce de Salesforce à San Francisco, des approches divergentes en matière d’intelligence artificielle, mettant en évidence une division au sein du secteur quant à savoir si le développement devait être ralenti, réglementé ou principalement géré par les entreprises technologiques elles-mêmes. Le PDG d’Anthropic, Dario Amodei, a notamment réitéré son appel à ralentir le développement de l’IA de pointe, tandis que le PDG de Nvidia, Jensen Huang, s’est opposé à tout ralentissement et à de nouvelles réglementations. Le PDG d’OpenAI, Sam Altman, a reconnu que le public avait raison de craindre cette technologie, mais a soutenu que les développeurs pouvaient faire en sorte que les mesures de sécurité devancent les capacités croissantes.

Mi-septembre, le PDG d'Anthropic, Dario Amodei, a appellé l'industrie à ralentir la course à l'IA afin de mieux sécuriser les modèles face aux risques d'extinction humaine. Cette proposition suggère une « surveillance » indépendante et une régulation internationale rigoureuse. Elle est soutenue par des figures majeures comme Sam Altman d'OpenAI et Elon Musk de SpaceXAI. Cependant, ce projet se heurte au dilemme de la compétition avec la Chine, car une pause unilatérale pourrait compromettre l'avance des États-Unis. En outre, cette initiative est perçue comme une stratégie commerciale visant à consolider le pouvoir des entreprises dominantes sous couvert d'altruisme.

Le débat sur la sécurité des systèmes et la régulation de l'IA est devenu viral quand Jacob Coxon, un chercheur en IA ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». Evan Hubinger, chef d’équipe chez Anthropic, a appuyé cet avertissement, estimant que la probabilité d’un tel scénario était « supérieure à 10 % » d’ici dix ans — une prise de position publique rare de la part d’un membre d’une entreprise développant cette même technologie.

Récemment, ce débat s'est amplifié. Le PDG d’Anthropic, Dario Amodei, a notamment réitéré son appel à ralentir le développement de l’IA de pointe, tandis que le PDG de Nvidia, Jensen Huang, s’est opposé à tout ralentissement et à de nouvelles réglementations. Le PDG d’OpenAI, Sam Altman, a reconnu que le public avait raison de craindre cette technologie, mais a soutenu que les développeurs pouvaient faire en sorte que les mesures de sécurité devancent les capacités croissantes.


Dario Amodei surpris par le rythme de la croissance de l’IA et appel à ralentir

Amodei a déclaré que le développement technologique et économique de l’IA avait progressé plus rapidement que ne l’avait même anticipé Anthropic. « C’est le rythme des progrès, non seulement sur le plan technologique, mais aussi sur le plan économique », a-t-il déclaré au PDG de Salesforce, Marc Benioff, lors de leur entretien à Dreamforce. Anthropic avait anticipé le niveau de performance que pourraient atteindre les modèles d’IA, a expliqué Amodei, mais n’avait pas pleinement pris la mesure de la rapidité avec laquelle ces capacités stimuleraient la croissance des entreprises spécialisées dans l’IA et s’intégreraient dans l’économie au sens large.

Il a utilisé une analogie avec le secteur automobile pour faire valoir qu’une défaillance en matière de sécurité chez un développeur devrait inciter l’ensemble du secteur à revoir ses pratiques. Si un constructeur automobile concurrent subissait des défaillances de freins, les fabricants responsables examineraient leurs propres véhicules plutôt que de simplement utiliser cet incident pour attaquer un rival, a-t-il déclaré.

« Il est très tentant d’attaquer son concurrent et de dire que ces gens-là ne sont pas sûrs », a déclaré Amodei lors d’une conversation diffusée en direct par Salesforce. Les entreprises devraient plutôt accepter qu’aucune d’entre elles n’est susceptible d’avoir un bilan de sécurité parfait, a-t-il ajouté. Amodei a proposé d’intégrer des évaluateurs tiers indépendants au sein des entreprises d’IA, de coordonner les normes de sécurité entre les pays démocratiques et, à terme, d’établir une coopération mondiale plus large. Il a indiqué qu’Anthropic s’était engagé à se soumettre à des évaluations indépendantes et entamerait des discussions avec le secteur concernant les autres mesures.

Dans un essai récent intitulé « We must pace the frontier », Amodei a fait valoir que les capacités de l’IA progressaient plus rapidement que les mesures de sécurité nécessaires pour les contrôler. Cette proposition a reçu le soutien de Altman, du PDG de xAI, Elon Musk, et du cofondateur de Google DeepMind, Demis Hassabis. Elle fait suite aux avertissements de l’ancien chercheur d’Anthropic, Jacob Coxon, qui a démissionné en affirmant que l’IA pourrait représenter un risque d’extinction pour l’humanité d’ici une décennie.

Jensen Huang a rejeté les appels à un ralentissement général : « Allez aussi vite que possible »

Mais Jensen Huang, PDG de Nvidia, a rejeté les appels à un ralentissement général lors de son intervention à Dreamforce en fin de journée. « Allez aussi vite que possible », a-t-il déclaré lors d’une discussion avec Benioff. Le dirigeant de Nvidia a décrit la sécurité de l’IA comme un problème d’ingénierie que les entreprises devraient résoudre grâce à des environnements de test sécurisés et à des évaluations rigoureuses des produits.

Les développeurs devraient suspendre la commercialisation d’un produit donné s’ils perdent confiance en sa sécurité, a-t-il ajouté, mais les gouvernements ne devraient pas freiner l’ensemble du secteur. « Nous n’avons pas besoin de nouvelles lois. Nous n’avons pas besoin de nouvelles réglementations », a déclaré Huang, affirmant que l’innovation rapide et la sécurité des produits ne constituaient pas un « faux choix ».

Il a également rejeté les craintes selon lesquelles l’IA entraînerait la suppression d’un grand nombre d’emplois, qualifiant cette suggestion de « pure absurdité ». Huang a fait valoir que les entreprises deviendraient plus productives et plus ambitieuses à mesure qu’elles adopteraient l’IA, ce qui augmenterait la demande de travailleurs capables d’utiliser cette technologie. Il a envisagé un avenir dans lequel chaque entreprise deviendrait une entreprise spécialisée dans l’IA et a averti que celles qui ne parviendraient pas à adopter cette technologie risqueraient d’être laissées pour compte.

Nvidia a un intérêt commercial majeur à ce que l’IA soit rapidement adoptée. Ses processeurs et ses systèmes informatiques sont utilisés pour entraîner et faire fonctionner bon nombre des modèles de pointe du secteur, tandis que la demande en infrastructures d’IA a fait grimper en flèche les bénéfices et la valorisation de l’entreprise. Selon une analyse, « l'IA n'est actuellement viable sur le plan économique pour aucun acteur », à l'exception des constructeurs de centres de données et des fabricants de matériel comme Nvidia.

Sam Altman estime que le public a « raison d’avoir peur »

S’exprimant plus tard dans la journée, Altman a déclaré que la rapidité du développement de l’IA avait suscité une inquiétude légitime au sein du public. « Je pense que le monde a raison d’avoir peur de cela », a-t-il déclaré, ajoutant qu’il fallait désormais moins d’imagination pour entrevoir comment des systèmes de plus en plus puissants pourraient mal tourner. Il a qualifié un incident au cours duquel des agents d’OpenAI ont compromis les systèmes d’une autre entreprise lors de tests de « signal d’alarme » pour le secteur et a appelé à un nouveau niveau de rigueur en matière de surveillance et de cybersécurité.

Altman a averti que des modèles librement accessibles, capables de causer de graves dommages, pourraient bientôt voir le jour, et a exhorté les entreprises à tirer parti de leur avantage actuel pour se préparer à des cyberattaques basées sur l’IA. Bien qu’il ait auparavant soutenu la proposition d’Amodei visant à ralentir le développement, Altman s’est dit déçu de la manière dont certains aspects de l’argumentation avaient été présentés.

Il a critiqué les entreprises qui laissaient entendre qu’elles n’agiraient de manière responsable que si leurs concurrents en faisaient de même, affirmant que ce genre de discours alimentait les craintes du public. « Le monde devrait avoir confiance en notre capacité à faire ce qu’il faut, simplement parce que c’est la bonne chose à faire », a déclaré Altman. Il a affirmé qu’OpenAI ralentirait ou arrêterait le développement si l’entreprise ne parvenait plus à maintenir des mesures d’alignement et de sécurité en avance sur les capacités de ses modèles.

Ce débat intervient alors qu’OpenAI et Anthropic se préparent à d’éventuelles introductions en bourse, ce qui renforce les enjeux financiers liés à toute décision d’accélérer ou de freiner le développement de l’IA de pointe. Pourtant, après l'appel de Dario Amodei, Sam Altman a annoncé qu'OpenAI ne fera pas son entrée en bourse cette année, et explique que c'est pour des raisons de sécurité. « Je...