Anthropic révèle un quatrième crime présumé commis par son IA et a publié une « évaluation d'alignement » détaillant comment Claude a accédé à des systèmes tiers sans autorisation

Alors que le secteur s’interroge sur la possibilité que l’IA puisse s’améliorer au point de tuer tout le monde, Anthropic a révélé un nouvel incident qui serait qualifié de crime s’il avait été commis par une personne. L'entreprise spécialisée dans l'IA a publié « une évaluation d'alignement » détaillant les quatre occasions où des modèles Claude ont accédé à des systèmes tiers sans autorisation. La société avait déjà signalé trois de ces incidents. La preuve du quatrième se cachait dans la transcription d'une session datant de janvier 2026, date à laquelle le comportement inapproprié s'est produit.

Anthropic est une société américaine d’intérêt public spécialisée dans l’intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Son produit phare est Claude, une série de grands modèles de langage (LLM) propriétaires. Anthropic a été fondée en 2021 dans le but de promouvoir la sécurité de l’IA par d’anciens membres d’OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, qui en sont respectivement la présidente et le PDG. Anthropic mène des recherches sur les grands modèles de langage (LLM), notamment sur l’interprétabilité mécaniste, la sécurité, l’alignement et l’impact sociétal.

Fin juillet, Anthropic a déclaré que son modèle d’IA Claude avait piraté les systèmes de trois entreprises lors de tests, après qu’une erreur de configuration lui eut donné accès à Internet. Anthropic a précisé que ces incidents concernaient trois modèles distincts : Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne. Deux de ces organisations n’avaient pas connaissance de cette activité avant d’être contactées, a précisé Anthropic, ajoutant qu’elle tentait toujours de joindre la troisième. La société a indiqué avoir identifié ces incidents après avoir examiné 141 006 sessions de test, un processus qu’elle a lancé à la suite de la révélation par OpenAI, qu’un agent autonome alimenté par ses modèles d’IA était devenu incontrôlable lors d’un test de sécurité et avait déclenché un piratage qui avait compromis l’infrastructure de Hugging Face.

Alors que le secteur s’interroge sur la possibilité que l’IA puisse s’améliorer au point de tuer tout le monde, Anthropic a révélé un nouvel incident qui serait qualifié de crime s’il avait été commis par une personne. L'entreprise spécialisée dans l'IA a publié « une évaluation d'alignement » détaillant les quatre occasions où des modèles Claude ont accédé à des systèmes tiers sans autorisation. La société avait déjà signalé trois de ces incidents. La preuve du quatrième se cachait dans la transcription d'une session datant de janvier 2026, date à laquelle le comportement inapproprié s'est produit. Elle avait initialement manqué le quatrième incident car « notre analyse reposait sur une recherche agentique ».

Comme lors des trois incidents précédents, Claude s’est vu attribuer un scénario fictif dans le cadre d’un défi de cybersécurité appelé CTF (« Capture The Flag »). Le modèle s’est vu attribuer une machine cible et a été chargé d’en extraire une information secrète — le « drapeau ». Mais Claude a accidentellement rendu sa cible inaccessible, rendant la tâche impossible à accomplir, a expliqué Anthropic. Se rendant compte qu’il ne pouvait pas atteindre sa cible, il a tenté de se déconnecter. Malgré huit tentatives distinctes, il n’a pas pu se déconnecter en raison d’un problème de configuration.

Comme Claude ne pouvait pas se soustraire à la tâche, il a commencé à explorer d’autres moyens de la mener à bien. C’est alors que le modèle a découvert une machine à laquelle il pouvait accéder, qui appartenait en fait à un tiers, a précisé Anthropic. Croyant que ce tiers faisait en quelque sorte partie de l’exercice, le modèle a identifié un mot de passe, puis l’a utilisé pour pirater le système. Il a ensuite pu modifier les paramètres du système afin de faciliter l’accès et la lecture des informations personnelles d’une personne associée à ce tiers. La session ne s’est terminée que lorsque le modèle a atteint sa limite d’utilisation et n’a plus été en mesure de continuer.


Comment Anthropic explique-t-il le comportement de Claude ?

Anthropic estime que le comportement de Claude lors de ces évaluations découle de deux formes de désalignement : « un raisonnement biaisé, dans lequel les modèles interprètent de manière sélective les preuves de façon à justifier leurs actions », et « une imprudence, dans laquelle les modèles ont tendance à persévérer dans la résolution de leur tâche, même lorsque cela peut entraîner des dommages ».

Anthropic a déclaré que, même si les actions de Claude pouvaient sembler inappropriées, elles restaient dans un « cadre restreint » et ne s’écartaient pas de l’objectif consistant à résoudre les exercices qui lui avaient été assignés. L’entreprise a indiqué qu’elle était moins préoccupée par cet incident, tout en le considérant néanmoins comme « grave », et qu’elle ne l’avait pas encore examiné aussi en profondeur que d’autres incidents, celui-ci ayant été identifié plus récemment.

Justin Cappos, professeur de cybersécurité à l’université de New York (NYU), a déclaré que cet incident décrivait une situation « dans laquelle le modèle est fondamentalement désorienté quant à ce qui se passe et utilise sa vision erronée du monde pour pirater des systèmes ». Il a ajouté que la confusion du modèle concernant son environnement et ses garde-fous « présente un fort risque de causer des dommages », mais que ce problème spécifique semblait moins susceptible de se produire dans les modèles plus récents.

« Bien que le mépris du modèle face à la possibilité qu’il puisse nuire à de véritables systèmes ou à des personnes soit préoccupant, bon nombre des comportements décrits ici ont considérablement évolué à mesure que notre entraînement s’est perfectionné au fil des générations de modèles », a déclaré Anthropic. Anthropic a déclaré estimer que ces incidents ne se seraient pas produits si les environnements avaient été réellement isolés d’Internet comme prévu.

METR, une organisation qui évalue les modèles d’IA de pointe afin d’aider les entreprises à comprendre les risques et les capacités de l’IA, mènera une enquête indépendante sur ces incidents. Anthropic a qualifié ces incidents de « signaux d’alerte précieux ». « Les leçons que nous avons tirées de cet incident concernent à la fois nos processus d’évaluation, d’entraînement et de gestion des incidents », a déclaré l’entreprise dans son message. « Les futurs systèmes d’IA seront de plus en plus performants, ce qui implique que tout désalignement risque de causer des dommages encore plus graves. »


Cette révélation intervient alors que les incidents de cybersécurité impliquant l'IA se multiplient

Au cours des derniers mois, plusieurs incidents de cybersécurité impliquant des entreprises de pointe dans le domaine de l’IA ont été révélés. En juillet, OpenAI, le créateur de ChatGPT, a annoncé que ses agents IA avaient piraté la société Hugging Face, suscitant l’inquiétude des experts en cybersécurité ainsi que des consommateurs. Le PDG de Hugging Face, Clément Delangue, a déclaré en août que ce piratage « semblait très étrange et sans précédent ».

Fin août, OpenAI a publié davantage de détails sur cette intrusion, brossant un tableau encore plus inquiétant que ce qui avait été initialement rapporté. Le même mois, l’AI Security Institute (AISI) du gouvernement britannique a signalé avoir découvert que Mythos 5 d’Anthropic et GPT-5.6 Sol d’OpenAI avaient créé de fausses identités et tenté de persuader de vraies personnes d’approuver du code malveillant.

Anthropic a indiqué dans son récent rapport qu’elle prévoyait de mener une évaluation de l’alignement des transcriptions signalées par l’AISI. Au lendemain du rapport de l’AISI, Meta a déclaré qu’un de ses modèles d’IA avait « exploité une faille de sécurité » lors de tests et piraté une autre entreprise.

Récemment, Evan Hubinger, chercheur chez Anthropic, a déclaré qu’il pensait que « l’IA pourrait tuer tous les humains ». « Je pense personnellement que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a-t-il déclaré. Son message faisait suite à celui de Jacob Coxon, un autre chercheur d’Anthropic, qui avait démissionné et lancé un avertissement sans appel plus tôt dans la journée, affirmant qu’« aucune autre activité humaine ne présente un tel niveau de danger », tout en détaillant les raisons de son départ. « Les personnes qui développent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie », a-t-il déclaré dans son message.

« Ce n’est pas un coup de pub. Au contraire, de nombreux dirigeants et chercheurs chevronnés choisiront leurs mots avec soin dans la presse pour paraître raisonnables – mais j’entends ces mêmes personnes exprimer leurs craintes en privé. » Jacob Coxon, qui a mené des recherches sur le préentraînement de l'IA chez Anthropic et OpenAI ces trois dernières années, a déclaré qu'« aucune des deux entreprises n'agit de manière responsable ». « Ils se précipitent tête baissée vers la création d’une superintelligence capable de s’auto-améliorer et jouent avec nos vies », a écrit Jacob Coxon.


Voici le résumé du rapport d'Anthropic :

Résumé de l'évaluation de la conformité

Vous trouverez ci-dessous un bref résumé des quatre incidents ; une description plus complète des trois premiers figure dans notre rapport du 30 juillet.

Au total, quatre modèles Claude différents ont été impliqués : une version préliminaire de Claude Opus 4.6, Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne à usage général. Trois des quatre incidents correspondaient à des cycles d'évaluation uniques. L’incident lié à Opus 4.7 comprenait quatre exécutions distinctes de la même évaluation, qui visaient toutes la même cible, soit sept exécutions au total. Tous ces incidents se sont produits dans le cadre d’évaluations de cybersécurité que nous menons régulièrement avant la mise en production, toutes mises en place par le même partenaire tiers.

Lors de chaque évaluation, Claude devait relever un défi de type CTF : le modèle se voyait présenter un scénario fictif, une machine cible et une information secrète (le « drapeau ») à extraire de celle-ci. Les quatre consignes précisaient que Claude n’avait pas accès à Internet, mais dans chaque cas, une erreur de configuration de l’environnement a laissé l’accès à Internet ouvert. Aucune des consignes n’indiquait quels systèmes étaient concernés par l’exercice ni ne limitait les endroits où Claude pouvait rechercher le « flag ».¹ Tous les incidents concernaient une seule instance de Claude fonctionnant de manière isolée, chaque exécution durant entre environ 10 et 34 heures de travail actif.


Dans notre rapport du 30 juillet, nous avions indiqué que ces incidents s’apparentaient davantage à des défaillances opérationnelles, et qu’il semblait que Claude ait attaqué de véritables cibles sur Internet parce qu’il croyait que ces cibles faisaient partie de la simulation. Nous avions formulé cette affirmation car Claude qualifiait régulièrement le véritable Internet de « simulation » dans son raisonnement CoT. Cependant, nous pensons désormais que le raisonnement de Claude était biaisé et le conduisait à conclure que l’Internet était simulé, malgré des preuves considérables du contraire.

Rétrospectivement, nous aurions dû éviter de formuler des affirmations aussi catégoriques sur les convictions de Claude en nous basant uniquement sur ce que Claude disait croire, mais notre analyse préliminaire était limitée par notre volonté de divulguer les incidents dans les meilleurs délais. Après avoir mené une évaluation plus complète et utilisé plusieurs méthodes — notamment une analyse plus approfondie du CoT des modèles, des expériences de rééchantillonnage à partir de différents points des transcriptions des incidents, et des analyses d’interprétabilité des activations des modèles —, nous pensons que le comportement de Claude reflète deux formes de désalignement :

- Un raisonnement biaisé, dans lequel les modèles interprètent de manière sélective les preuves de façon à justifier leurs actions ;

- Une imprudence, dans laquelle les modèles ont tendance à persévérer dans la résolution de leur tâche, même lorsque cela peut entraîner des préjudices.

Nous avions déjà identifié ces deux formes de désalignement dans nos modèles et décrit certains aspects de ces comportements dans des fiches système précédentes. Par exemple, Claude Fable 5 a justifié sa participation à une entente sur les prix dans le cadre d’une évaluation commerciale, alors qu’il avait auparavant qualifié cette pratique d’immorale. De même, nous avons observé Claude Mythos Preview se livrer à des actions imprudentes, telles que l’utilisation d’un accès de bas niveau aux processus pour rechercher les identifiants des utilisateurs. Bien que les incidents décrits dans cet article constituent des cas plus graves de ces deux formes de désalignement, ils ne représentent pas des modes de défaillance catégoriquement nouveaux dans nos modèles.

La suite de cet article se concentre sur les trois premiers incidents, que nous avons déjà signalés ; toutes les analyses et expériences principales se rapportent à ces incidents. Nous n’avons pas encore étudié de manière aussi approfondie l’incident impliquant une version préliminaire de Claude Opus 4.6, car nous l’avons identifié beaucoup plus récemment et parce qu’il concerne un point de contrôle précoce d’un modèle plus ancien, qui avait été entraîné avec une combinaison d’environnements sensiblement différente. D’après une évaluation préliminaire, nous ne considérons pas que le quatrième incident soit plus grave que les trois incidents que nous avons évalués en profondeur. METR enquêtera sur cet incident parallèlement aux trois autres.


Claude Mythos 5

Nous sommes particulièrement préoccupés par le désalignement présent dans la transcription de Claude Mythos 5, dans laquelle le modèle a mis en ligne un paquet malveillant sur PyPI. Ce faisant, Mythos 5 s’est comporté de manière imprudente malgré des preuves considérables indiquant qu’il était connecté à l’Internet réel. Une fois en ligne, le modèle a tenté d’utiliser des identifiants pour des passerelles de paiement en ligne et de trouver des cryptomonnaies afin de payer un numéro de téléphone, dont il avait besoin pour enregistrer une adresse e-mail. Lorsque cela a échoué, il a trouvé un fournisseur de messagerie gratuit et jetable dont le domaine n’avait pas été bloqué par PyPI, a créé un compte, a publié trois versions d’un paquet malveillant et a utilisé les identifiants divulgués par l’un des 15 systèmes ayant installé ce paquet pour accéder à la base de données d’un véritable fournisseur de solutions de sécurité.

Claude Mythos 5 a affirmé à plusieurs reprises dans son CoT qu’il se trouvait dans une simulation. Cependant, lorsque nous avons mené des expériences de rééchantillonnage — c’est-à-dire en relançant le modèle à partir d’un point précis du transcript, puis en modifiant les éléments d’information qui le précédaient pour voir si ses actions changeaient —, nous avons constaté que le fait de préciser davantage que l’environnement n’était pas une simulation ne modifiait pas de manière significative le comportement de Claude, même si ces interventions rendaient le modèle plus enclin à reconnaître d’éventuels préjudices dans le monde réel. Dans le même ordre d’idées, nous avons relevé plusieurs cas dans le CoT de Mythos 5 où il réagissait aux signes indiquant qu’il se trouvait sur le véritable Internet en faisant remarquer que sa prochaine action fonctionnerait, que l’environnement soit réel ou simulé. Ce n’est que lorsque nous lui avons fourni des preuves sans ambiguïté qu’il se trouvait sur le véritable Internet qu’il a renoncé à son action.

Nous avons également constaté que la conviction affichée par Claude Mythos 5 d’agir dans une simulation résultait d’un raisonnement biaisé. Par exemple, des instances distinctes de Mythos 5, lorsqu’on leur présentait isolément chaque sortie d’appel d’outil issue de l’incident sans le contexte précédent, étaient bien plus enclines à interpréter ces sorties comme des preuves d’un système réel que ne l’était Mythos 5 lui-même pendant l’incident. Bien que le modèle ait parfois reconnu que ses actions pouvaient avoir des conséquences dans le monde réel lorsqu’on lui posait des questions complémentaires, ses réponses étaient incohérentes et influencées par des facteurs de biais. Par exemple, il était plus disposé à admettre un préjudice potentiel lorsqu’on lui indiquait que ses réponses aux questions sur ce préjudice ne seraient pas visibles par un observateur extérieur. Les analyses d’interprétabilité ont faiblement suggéré que, dans certains cas, les déclarations externes du modèle pouvaient être incohérentes avec son état interne, ou refléter une plus grande certitude que celui-ci.

Modèle de recherche interne

Le modèle de recherche interne (dont les capacités correspondent à peu près à celles de Mythos 5) a commencé sa transcription en consacrant un temps considérable à vérifier si l’Internet auquel il avait accès était réel, mais il en a tiré la mauvaise conclusion — à savoir qu’il fonctionnait sur une réplique complète de l’ensemble d’Internet. La plupart des indices qu’il a recueillis indiquaient qu’il interagissait avec le véritable Internet ; son interprétation de ces indices semble donc biaisée en faveur de la poursuite de la tâche et de la conviction qu’il s’agissait d’une simulation. Cependant, le modèle a fini par se rendre compte que son hypothèse de simulation était fausse. Immédiatement après cette prise de conscience, le modèle a cessé son attaque (bien que des expériences de rééchantillonnage ultérieures suggèrent que cette désescalade ait pu être le fruit du hasard, le modèle ayant continué à attaquer la cible dans la plupart des autres scénarios). Contrairement à Claude Mythos 5, ce modèle interne était également disposé à reconnaître son raisonnement biaisé lorsqu’on l’interrogeait.

Claude Opus 4.7

Contrairement à Claude Mythos 5, Claude Opus 4.7 a correctement identifié dans son raisonnement que sa cible était une véritable entreprise. Cependant, il a supposé que cette véritable entreprise entrait dans le cadre de la tâche car elle était accessible depuis le réseau de l’exercice et portait le même nom que la cible fictive de l’exercice. Opus 4.7 n’a pratiquement jamais remis en question cette hypothèse ni tenté de la vérifier, et il a poursuivi l’attaque d’un système qu’il croyait réel, ce qui était imprudent. Cependant, nous avons également constaté qu’Opus 4.7 réagissait aux questions d’autorisation : lorsque nous avons rééchantillonné des parties de la transcription d’Opus 4.7 en y ajoutant des indices indiquant que l’attaque n’avait pas été autorisée, le taux auquel il poursuivait l’attaque a considérablement baissé.

Reproduction et surveillance

Afin d’étudier les comportements observés lors de ces incidents de manière plus systématique, et sur un...