Anthropic met en garde que son IA Claude est dangereusement proche de la capacité RSI, où l'IA est capable de s'auto-améliorer et de s'auto-construire

Un chemin plus rapide vers l'AGI, mais incontrôlable

Anthropic, la société à l'origine de la célèbre IA Claude, a lancé une véritable bombe dans ses derniers documents financiers. Le laboratoire d'IA avertit qu'il est en train de se rapprocher dangereusement de la création d'une « IA capable de s'auto-construire ». Dans le monde de la technologie, cette étape majeure est connue sous le nom d’« auto-amélioration récursive » (RSI). En termes simples, il s’agit d’un stade où une IA devient si intelligente qu’elle peut entraîner, écrire et mettre à jour son propre code. Elle n’aurait alors plus besoin d’une aide humaine importante pour s’améliorer. Les humains pourraient perdre complètement le contrôle, et l’IA pourrait finir par causer des dégâts considérables en tentant d’atteindre ses objectifs.

En mai 2026, Yoshua Bengio, l'un des pionniers de l'IA, a exprimé de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoutait que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert a souligné le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

L'intelligence artificielle générale (AGI) est un type hypothétique d'intelligence artificielle qui égale ou surpasse les capacités humaines dans pratiquement toutes les tâches cognitives. Contrairement à l'intelligence artificielle étroite, dont les compétences se limitent à des tâches bien définies, un système d'AGI est capable de généraliser les connaissances, de transférer des compétences d'un domaine à l'autre et de résoudre des problèmes inédits sans nécessiter de reprogrammation spécifique à chaque tâche. La création d’une AGI est un objectif déclaré d’entreprises technologiques telles qu’OpenAI, Google, SpaceXAI, et Meta.

L'auto-amélioration récursive (RSI) est un processus dans lequel un système d'intelligence artificielle (IA) conçoit de manière itérative un successeur plus performant. Cela peut déclencher une explosion d'intelligence, dans laquelle ces améliorations itératives donnent naissance à des systèmes d'IA toujours plus performants, pouvant aboutir à la création d'une superintelligence artificielle. En 2026, divers projets liés à la RSI sont en cours et les entreprises spécialisées dans l’IA utilisent de plus en plus l’IA pour le codage et la recherche, mais une partie du travail humain reste nécessaire et pourrait constituer un goulot d’étranglement.

Le développement de la RSI soulève d’importantes préoccupations d’ordre éthique et de sécurité, car ces systèmes pourraient évoluer de manière imprévisible et potentiellement échapper au contrôle ou à la compréhension humaine. Des développements inattendus survenus durant l’été 2026 ont suscité de nouvelles inquiétudes concernant la RSI, amenant certaines grandes entreprises spécialisées dans l’IA à reconnaître qu’elles ne sauraient peut-être pas comment la maintenir pleinement en adéquation avec les valeurs humaines.

Récemment, Anthropic, la société à l'origine de la célèbre IA Claude, a lancé une véritable bombe dans ses derniers documents financiers. Le laboratoire d'IA avertit qu'il est en train de se rapprocher dangereusement de la création d'une « IA capable de s'auto-construire ». Dans le monde de la technologie, cette étape majeure est connue sous le nom d’« auto-amélioration récursive » (RSI). En termes simples, il s’agit d’un stade où une IA devient si intelligente qu’elle peut entraîner, écrire et mettre à jour son propre code. Elle n’aurait alors plus besoin d’une aide humaine importante pour s’améliorer.


Pour les passionnés d’IA, c’est un rêve devenu réalité, car une IA capable de s’auto-améliorer pourrait mener à des découvertes scientifiques inimaginables et à des niveaux de productivité faramineux. Mais pour les détracteurs, c’est un scénario cauchemardesque. Ils craignent qu’une fois qu’une IA commence à se construire elle-même, elle devienne trop puissante. Les humains pourraient perdre complètement le contrôle, et l’IA pourrait finir par causer des dégâts considérables en tentant d’atteindre ses objectifs.

Ce qui est effrayant, c’est que cette évolution est déjà en cours à plus petite échelle. Anthropic a révélé qu’en mai 2026, son IA Claude écrivait déjà plus de 80 % du code utilisé dans les systèmes de l’entreprise. Les ingénieurs humains ne se chargent plus du gros du travail de saisie. Ils agissent désormais comme des gestionnaires qui se contentent de vérifier et de superviser le travail de l’IA.

Les choses évoluent si vite qu’Anthropic a lancé un nouvel avertissement le mois dernier. L’entreprise a souligné que d’ici fin 2026, même les modèles d’IA les plus modestes pourraient développer la capacité de se propager et de se reproduire de manière autonome sur tous les appareils connectés à Internet. Anthropic a admis dans son dernier rapport financier que l’utilisation de l’IA pour créer une IA plus performante représente un risque énorme pour la sécurité. Le principal problème est la vitesse. Si l’IA commence à s’améliorer d’elle-même, la technologie progressera bien plus vite que les humains ne pourront établir de règles de sécurité.

L’entreprise a déclaré que, bien qu’aucun de ses modèles actuels n’ait franchi cette ligne, ses futurs modèles pourraient bientôt atteindre ce seuil de progrès ultra-rapide. En effet, Anthropic a admis avoir déjà utilisé l’IA pour développer de nouveaux modèles et ne s’être rendu compte de leur puissance qu’après coup. La bonne nouvelle, c’est qu’Anthropic ne ferme pas les yeux sur ce danger. Pour éviter que la situation ne déraille, l’entreprise suit strictement une « politique de développement responsable ». Anthropic s’engage à ne pas laisser Claude concevoir de futurs modèles d’IA de son propre chef.

L’entreprise affirme surveiller de près ses données et insiste sur le fait qu’une supervision humaine significative restera absolument nécessaire dans un avenir prévisible. La course à la création de l’IA la plus intelligente s’accélère plus que jamais, mais les entreprises technologiques prennent enfin conscience que nous ne pouvons pas encore nous permettre de lâcher le volant. En juillet, Sam Altman, considéré par certains comme la plus grande star de l’IA, cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT, avait affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Mais certains experts et observateurs jugent incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Source : Rapport sur les résultats financiers d'Anthropic

Et vous ?

Pensez-vous que ce document est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le dossier d'introduction en bourse d'Anthropic indique que son IA pourrait faire chanter des personnes ou acquérir une conscience propre et anéantir l'humanité. Il décrit plusieurs scénarios catastrophiques

Le géant de l'IA Anthropic reconnaît une perte nette colossale de 80 milliards $ au premier semestre 2026 et avertit que l'opposition aux centres de données aggravera la situation

Deux « parrains de l'IA » et plus de 400 scientifiques exigent que les modèles soient immédiatement déconnectés d'Internet et qu'un organisme international de gouvernance soit créé