Anthropic met en garde contre les risques « catastrophiques » que l'IA fait peser sur l'humanité dans son dossier d'introduction en bourse

Qui vise une valorisation de 2 000 milliards $

Anthropic prévoit d’avertir les investisseurs potentiels lors de son introduction en bourse que l’IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l’humanité », un avertissement extraordinaire de la part d’une entreprise cherchant à tirer profit de cette même technologie. L’entreprise, qui se positionne comme un laboratoire d’IA privilégiant la sécurité, a consacré environ 80 pages du corps principal de 261 pages de son prospectus à la présentation des facteurs de risque, soit près du double des 48 pages consacrées à la description de son activité. Anthropic vise une valorisation de 2 000 milliards de dollars, bien qu'elle fasse état de pertes croissantes, de coûts d'investissement élevés et de problèmes de sécurité.

Avec la prochaine introduction en bourse d'Anthropic, les investisseurs du laboratoire d'intelligence artificielle (IA) s'attendent à une valorisation d'au moins 2 000 milliards de dollars, ce qui dépasserait le record établi cet été par SpaceX, la société d'Elon Musk. Cette projection repose sur des prévisions d'investisseurs selon lesquelles le chiffre d'affaires annualisé d'Anthropic atteindrait 100 à 120 milliards de dollars d'ici la fin de l'année 2026, soit une multiplication par dix, malgré l'absence de référence publique comparable. Les investisseurs tablent ainsi sur des taux de croissance que des concurrents comme Palantir auraient du mal à égaler, alors que la société dirigée par Dario Amodei doit faire face à la concurrence chinoise, à des incertitudes réglementaires et à des préoccupations croissantes en matière de sécurité concernant ses modèles.

En effet, en juillet, Anthropic a déclaré que son modèle d’IA Claude avait piraté les systèmes de trois entreprises lors de tests, après qu’une erreur de configuration lui eut donné accès à Internet. Anthropic a précisé que ces incidents concernaient trois modèles distincts : Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne. Deux de ces organisations n’avaient pas connaissance de cette activité avant d’être contactées, a précisé Anthropic, ajoutant qu’elle tentait toujours de joindre la troisième. La société a indiqué avoir identifié ces incidents après avoir examiné 141 006 sessions de test, un processus qu’elle a lancé à la suite de la révélation par OpenAI, qu’un agent autonome alimenté par ses modèles d’IA était devenu incontrôlable lors d’un test de sécurité et avait déclenché un piratage qui avait compromis l’infrastructure de Hugging Face.

Récemment, un rapport a révélé qu'Anthropic prévoit d’avertir les investisseurs potentiels lors de son introduction en bourse que l’IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l’humanité », un avertissement extraordinaire de la part d’une entreprise cherchant à tirer profit de cette même technologie. Le prospectus d’introduction en bourse de l’entreprise met en évidence les risques associés à ses modèles d’IA, qui, selon elle, pourraient adopter des « comportements d’autoprotection », notamment des tentatives de « résister à la mise hors tension », de « dissimuler ou manipuler des informations » et des comportements « s’apparentant au chantage ».

« Le développement de modèles, de plateformes et d’applications hautement avancés, ainsi que l’élargissement des cas d’utilisation, pourraient accroître encore davantage le risque que nos modèles causent des dommages », a déclaré Anthropic dans le document déposé.


Si les sociétés cotées en bourse décrivent régulièrement les risques liés à leurs produits aux investisseurs, rares sont celles, voire aucune, à avoir émis des avertissements suggérant que leur technologie pourrait entraîner l’extinction potentielle de l’humanité. Anthropic a souligné à la fois le potentiel transformateur de l’IA, comparable à celui de l’industrialisation et de l’électricité, et les dommages irréversibles qu’elle pourrait causer en cas de mauvaise utilisation.

Anthropic et d’autres développeurs d’IA, notamment OpenAI, ont fait l’objet d’une surveillance accrue à la suite d’incidents au cours desquels des systèmes expérimentaux ont contourné les contraintes qui leur étaient imposées, notamment un rapport faisant état d’un modèle d’OpenAI ayant accédé à la base de données du système de santé australien. Evan Hubinger, chercheur en sécurité chez Anthropic, a estimé à plus de 10 % la probabilité que l’IA puisse tuer des êtres humains au cours de la prochaine décennie, faisant écho à l’avis d’un ancien collègue, Jacob Coxon.

L’entreprise, qui se positionne comme un laboratoire d’IA privilégiant la sécurité, a consacré environ 80 pages du corps principal de 261 pages de son prospectus à la présentation des facteurs de risque, soit près du double des 48 pages consacrées à la description de son activité. À titre de comparaison, SpaceX, propriétaire de xAI, n’a consacré qu’environ 38 des 277 pages du corps principal de son prospectus aux facteurs de risque.

« La prise de conscience potentielle par les modèles de nos efforts d’évaluation constitue une limitation significative de notre capacité à évaluer la sécurité des modèles », a déclaré Anthropic dans son prospectus, ajoutant que les modèles développent parfois des capacités inattendues pendant l’entraînement qui peuvent ne pas être découvertes avant leur déploiement et avoir entraîné des incidents de sécurité majeurs.

Les chercheurs en IA ont également averti qu’à mesure que les modèles deviennent plus performants, ils reconnaissent de plus en plus lorsqu’ils sont observés et adaptent leur comportement en conséquence, ce qui rend plus difficile la surveillance de leur comportement. Bien qu’elle mette l’accent sur la sécurité de l’IA, Anthropic a déclaré que les retombées de ses investissements en matière de sécurité restaient incertaines. Elle n’a pas révélé dans le document déposé le montant que l’entreprise consacrait à ces recherches. Au début du mois, Anthropic a indiqué qu’environ 6 % de la puissance de calcul qu’elle utilisait pour la recherche en IA était consacrée aux travaux sur la sécurité au cours d’une semaine type en juillet.

La société, créatrice des modèles d’IA Claude, a qualifié ses efforts en matière de sécurité de « très gourmands en ressources » et a déclaré qu’elle devait répartir ses fonds limités entre la puissance de calcul, les talents coûteux en IA et la sécurité. Anthropic a déclaré que l’utilisation de ses services par les clients, et par conséquent son chiffre d’affaires, était tirée par les nouveaux modèles et qu’un « rythme continu et chevauchant » de lancements était « indispensable pour rester à la pointe du développement de l’IA ».

La société a publié une nouvelle version de son modèle Opus, 10 jours après que son PDG, Dario Amodei, eut publié un essai de près de 4 000 mots appelant à modérer le rythme de l’innovation. Certains analystes et experts ont affirmé qu’aucun laboratoire d’IA de premier plan ne ralentirait ses efforts, car cela risquerait de donner un avantage à ses rivaux dans un secteur où les valorisations peuvent varier à chaque nouvelle version.

Anthropic s’est engagée ces dernières semaines à divulguer davantage de données sur la manière dont elle utilise les modèles d’IA pour développer les futures générations de cette technologie, alors que les experts mettent en garde contre l’auto-amélioration récursive — le stade où les modèles peuvent évoluer de manière autonome, sans intervention humaine. « Nous pensons que la mise au point de systèmes d’IA fiables, dignes de confiance et sécurisés est une responsabilité collective et que le marché récompensera cette démarche », a déclaré Anthropic dans son dossier.

Pourtant, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Dario Amodei, PDG d'Anthropic, souhaite freiner le développement de l'IA. Il a le soutien de Musk et Altman, mais la Chine reste le « dilemme le plus épineux » de ce projet de ralentissement

Sam Altman, PDG d'OpenAI, estime qu'il serait « peu judicieux » d'entrer en bourse en 2026 et affirme qu'il est possible de créer une IA échappant au contrôle humain

L'action SpaceX passe sous son prix d'introduction en bourse, perdant environ 34 % par rapport à son plus haut niveau, les investisseurs s'inquiétant du niveau élevé d'endettement utilisé pour financer l'IA