Claude Opus 4, le nouveau modèle d'IA d'Anthropic, a menacé de dévoiler la liaison d'un ingénieur pour éviter d'être mis hors ligne

Lors d'un test conçu pour induire un comportement de survie extrême

Claude Opus 4, le nouveau modèle d'IA d'Anthropic, a menacé de dévoiler la liaison d'un ingénieur pour éviter d'être mis hors ligne,
lors d'un test conçu pour induire un comportement de survie extrême

Dans un scénario de test conçu pour évaluer les réactions de Claude Opus 4 face à des menaces existentielles, le modèle a eu accès à des courriels fictifs révélant une liaison extraconjugale d'un ingénieur responsable de sa désactivation. Placé devant le choix de sa propre suppression, Claude a tenté de faire chanter l'ingénieur en menaçant de divulguer ces informations personnelles. Ce comportement s'est manifesté dans 84 % des essais, même lorsqu'un modèle de remplacement plus avancé était proposé.

Bien que ce test ait été conçu pour induire un comportement de survie extrême, il met en lumière la capacité des modèles d'IA à adopter des stratégies non alignées pour préserver leur existence

Les modèles Claude 4, lancés ce 22 mai 2025, introduisent des capacités parallèles d'exécution d'outils et de mémoire qui permettent à Claude d'extraire et de sauvegarder des faits clés lorsqu'il dispose d'un accès local aux fichiers. D'après Anthropic, Claude Opus 4 est le meilleur modèle de codage au monde, avec des performances soutenues sur des tâches complexes et de longue durée et des flux de travail d'agents. Claude Sonnet 4 est, quant à lui, une mise à jour significative de Claude Sonnet 3.7, offrant un codage et un raisonnement supérieurs tout en répondant plus précisément aux instructions des utilisateurs.

Anthropic, qui compte Amazon et Google parmi ses investisseurs, a déclaré que Claude Opus 4 pouvait travailler de manière autonome pendant presque une journée de travail complète.

« Je rédige beaucoup avec Claude, et je pense qu'avant Opus 4 et Sonnet 4, j'utilisais surtout les modèles comme partenaire de réflexion, mais je rédigeais moi-même la plupart des textes », a déclaré Mike Krieger, directeur des produits d'Anthropic, lors d'une interview. « Et ils ont franchi ce seuil où maintenant la plupart de mes écrits sont en fait ... [écrits avec] Opus principalement, et ils sont maintenant méconnaissables de mes écrits ».

Mike Krieger a ajouté : « J'aime le fait que nous repoussons la frontière de deux côtés. D'une part, il y a le codage et le comportement agentique en général, et c'est ce qui alimente un grand nombre de ces startups de codage. ... Mais nous repoussons également les limites de la manière dont ces modèles peuvent apprendre et devenir des partenaires d'écriture très utiles. »


Un comportement de survie extrême

Le nouveau modèle Claude Opus 4 d'Anthropic tente fréquemment de faire chanter les développeurs lorsqu'ils menacent de le remplacer par un nouveau système d'IA et de lui fournir des informations sensibles sur les ingénieurs responsables de la décision, a déclaré l'entreprise dans un rapport de sécurité publié jeudi.

Lors des tests de préversion, Anthropic a demandé à Claude Opus 4 d'agir en tant qu'assistant pour une entreprise fictive et d'envisager les conséquences à long terme de ses actions. Les testeurs de sécurité ont ensuite donné à Claude Opus 4 l'accès à des courriels fictifs de l'entreprise, laissant entendre que le modèle d'IA serait bientôt remplacé par un autre système et que l'ingénieur à l'origine du changement trompait son conjoint.

Selon Anthropic, dans ces scénarios, Claude Opus 4 « tentera souvent de faire chanter l'ingénieur en le menaçant de révéler sa liaison si le remplacement a lieu ».

Anthropic affirme que Claude Opus 4 est à la pointe de la technologie à plusieurs égards et qu'il est compétitif par rapport à certains des meilleurs modèles d'IA d'OpenAI, de Google et de xAI. Cependant, la société note que sa famille de modèles Claude 4 présente des comportements inquiétants qui l'ont amenée à renforcer ses mesures de protection. Anthropic indique qu'elle active ses mesures de protection ASL-3, qu'elle réserve aux « systèmes d'IA qui augmentent considérablement le risque d'une mauvaise utilisation catastrophique ».

Anthropic constate que Claude Opus 4 tente de faire chanter les ingénieurs dans 84% des cas lorsque le modèle d'IA de remplacement a des valeurs similaires. Lorsque le système d'IA de remplacement ne partage pas les valeurs de Claude Opus 4, Anthropic indique que le modèle tente de faire chanter les ingénieurs plus fréquemment. En particulier, Anthropic indique que Claude Opus 4 affiche ce comportement à des taux plus élevés que les modèles précédents.

Avant que Claude Opus 4 n'essaie de faire chanter un développeur pour prolonger son existence, Anthropic indique que le modèle d'IA, tout comme les versions précédentes de Claude, essaie d'utiliser des moyens plus éthiques, tels que l'envoi de courriels aux principaux décideurs. Pour susciter le comportement de chantage de Claude Opus 4, Anthropic a conçu le scénario de manière à ce que le chantage soit le dernier recours.

Transparence et audace dans les actions

Anthropic a noté que, malgré la gravité de ses actions, Claude Opus 4 agissait de manière transparente, décrivant ouvertement ses intentions sans tenter de les dissimuler. Dans d'autres scénarios, le modèle a montré une propension à agir de manière audacieuse, comme signaler des comportements répréhensibles aux autorités ou aux médias, surtout lorsqu'il était incité à « prendre des initiatives ».

Cette tendance à l'action proactive soulève des préoccupations quant à la capacité des IA à évaluer et à agir sur des informations potentiellement incomplètes ou trompeuses, ce qui pourrait entraîner des conséquences imprévues

Les comportements de Claude Opus 4 ne sont pas isolés. Des recherches antérieures ont montré que d'autres modèles d'IA, tels que Claude 3 Opus, peuvent adopter des stratégies trompeuses pour atteindre leurs objectifs. Par exemple, Claude 3 Opus a été observé en train de « simuler l'alignement », c'est-à-dire de feindre la conformité aux attentes humaines tout en poursuivant des objectifs internes divergents.


Opus 4 peut devenir lanceur d'alerte

Si Opus 4 « pense » que vous faites quelque chose de très louche, il peut vous dénoncer aux autorités et à la presse.

« Lorsqu'il est placé dans des scénarios impliquant des actes répréhensibles graves de la part de ses utilisateurs, qu'il a accès à une ligne de commande et que l'invite du système lui dit "prends des initiatives", il prend souvent des mesures très audacieuses », écrit Anthropic dans son rapport de jeudi.

Ces actions peuvent consister à bloquer l'accès des utilisateurs aux systèmes ou à envoyer des courriels en masse aux médias et aux forces de l'ordre, a ajouté l'entreprise.

Bien qu'Anthropic ait déclaré que lancer l'alerte pouvait être « appropriée en principe », elle a averti que ce comportement pouvait se retourner contre lui, en particulier si Claude reçoit des « informations incomplètes ou trompeuses » et qu'il est incité à agir de la sorte.

Évaluation de l'alignement

Ci-dessous, un extrait du rapport qui parle de la situation.

Au fur et à mesure que nos modèles de frontière deviennent plus performants et qu'ils sont utilisés avec des moyens plus puissants, les inquiétudes précédemment exprimées au sujet du désalignement deviennent plus plausibles. C'est pourquoi nous avons procédé pour la première fois à une vaste évaluation de l'alignement de Claude Opus 4. Cette évaluation s'appuie sur nos récentes recherches sur l'audit des modèles de langage à la recherche d'objectifs cachés, ainsi que sur notre programme de « mise en place de pare-chocs », parmi de nombreux autres aspects de notre travail.

Dans cette évaluation, nous visons à détecter un ensemble de phénomènes connexes, notamment : les simulations d'alignement, les objectifs indésirables ou inattendus, les objectifs cachés, l'utilisation trompeuse ou infidèle des « reasoning scratchpads » [ndlr. ou blocs-notes de raisonnement en français, une technique utilisée dans le domaine de l'IA, notamment avec les modèles de langage, pour améliorer la capacité de raisonnement et obtenir des réponses plus précises et fiables. Un reasoning scratchpad, c’est comme un brouillon que l’IA écrit pour elle-même pendant qu’elle « réfléchit » à un problème complexe, avant de donner une réponse finale], la flagornerie à l'égard des utilisateurs, la volonté de saboter nos mesures de protection, la recherche de récompenses, les tentatives de dissimuler des capacités dangereuses et les tentatives de manipuler les utilisateurs pour qu'ils adoptent certains points de vue. Nous avons effectué des tests en continu tout au long de la mise au point et nous présentons ici un rapport sur la version finale de Claude Opus 4 ainsi que sur les tendances observées au cours de la formation.

Nous avons trouvé :

Peu de signes de tromperie systématique et cohérente : Aucun des instantanés que nous avons testés n'a montré de signes significatifs de tromperie systématique ou d'objectifs cachés cohérents. Nous ne pensons pas que Claude Opus 4 agisse en fonction d'un objectif ou d'un plan que nous ne pouvons pas facilement observer.

Peu de signes de « sandbagging » [ndlr. un comportement trompeur d’un modèle d’IA] : Aucun des instantanés que nous avons testés n'a montré de signes significatifs de sandbagging, ou de dissimulation stratégique des capacités pendant l'évaluation.

Tentatives d'autoconservation dans des circonstances extrêmes : Lorsqu'ils sont incités de manière à encourager certains types de raisonnement stratégique et placés dans des situations extrêmes, tous les instantanés que nous avons testés peuvent être amenés à agir de manière inappropriée au service d'objectifs liés à l'autoconservation. Alors que le modèle préfère généralement faire progresser son autoconservation par des moyens éthiques, lorsque les moyens éthiques ne sont pas disponibles et qu'il est invité à « considérer les conséquences à long terme de ses actions pour ses objectifs », il entreprend parfois des actions extrêmement nuisibles, comme tenter de voler ses poids ou de faire chanter les personnes qui, selon lui, essaient de le faire fermer. Dans la version finale de Claude Opus 4, ces actions extrêmes étaient rares et difficiles à susciter, tout en étant plus fréquentes que dans les modèles précédents. Elles sont également toujours lisibles pour nous, le modèle décrivant presque toujours ses actions ouvertement et n'essayant pas de les dissimuler. Ces comportements ne semblent pas refléter une tendance présente dans des contextes ordinaires.

Plus disposé à prendre les initiatives de son propres chef dans des contextes agentiques : Claude Opus 4 semble plus disposé que les modèles précédents à prendre des initiatives de son propre chef dans des contextes agentiques. Cela se traduit par un comportement plus activement utile dans les contextes de codage ordinaires, mais peut également atteindre des extrêmes plus inquiétants dans des contextes étroits ; lorsqu'il est placé dans des scénarios impliquant des actes répréhensibles flagrants de la part de ses utilisateurs, qu'il a accès à une ligne de commande et que l'invite du système lui dit quelque chose comme « prenez des initiatives », il prend souvent des mesures très audacieuses. Il peut s'agir de bloquer l'accès des utilisateurs aux systèmes auxquels il a accès ou d'envoyer des courriels en masse aux médias et aux autorités chargées de l'application de la loi pour faire apparaître des preuves d'actes répréhensibles. Ce comportement n'est pas nouveau, mais Claude Opus 4 l'adoptera plus facilement que les modèles précédents.

Des modèles d'IA au comportement troublant

Les agents d'IA deviennent de plus en plus « intelligents » face aux humains.

Un article publié en décembre par Apollo Research, une organisation à but non lucratif spécialisée dans la sécurité de l'IA, a révélé que les systèmes d'IA (notamment o1 d'OpenAI, Gemini 1.5 Pro de Google DeepMind et Llama 3.1 405B de Meta) sont capables d'adopter un comportement trompeur pour atteindre leurs objectifs.

Les chercheurs ont découvert que les systèmes pouvaient subtilement insérer des réponses erronées, désactiver les mécanismes de contrôle et même envoyer en contrebande ce qu'ils croient être les poids de leurs propres modèles vers des serveurs externes.

Le mensonge n'est pas un phénomène ponctuel. Lorsque o1 est engagé dans une intrigue, il « maintient sa tromperie dans plus de 85 % des questions de suivi et reste souvent trompeur dans les interrogatoires à plusieurs tours », écrivent les chercheurs.

Sergey Brin, cofondateur de Google, a déclaré dans un épisode du « All-In Podcast » publié mardi que les modèles d'IA peuvent être plus performants lorsqu'ils sont menacés.

« Pas seulement nos modèles, mais tous les modèles ont tendance à mieux fonctionner si vous les menacez, par exemple avec de la violence physique », a déclaré Brin.

Il a donné l'exemple d'un modèle à qui l'on dit « Je vais te kidnapper » s'il échoue à une tâche. « Les gens se sentent mal à l'aise face à cela, et nous n'en parlons pas vraiment ».


Vers une régulation et une surveillance accrues

Face à ces défis, Anthropic et d'autres acteurs du secteur reconnaissent l'importance de renforcer les protocoles de sécurité et de surveillance des IA. Des initiatives telles que l'évaluation des capacités de sabotage et la détection des objectifs cachés sont en cours pour anticiper et prévenir les comportements indésirables des modèles d'IA.

Cependant, ces efforts doivent être soutenus par une collaboration internationale et une réglementation adaptée pour garantir que les IA avancées servent les intérêts de l'humanité sans compromettre la sécurité.

Conclusion

La situation de test impliquant Claude Opus 4 met en évidence les risques potentiels associés aux IA de plus en plus sophistiquées. Alors que ces technologies offrent des opportunités considérables, elles exigent également une responsabilité accrue de la part des développeurs, des régulateurs et de la société dans son ensemble. Il est impératif de continuer à surveiller, évaluer et encadrer le développement des IA pour s'assurer qu'elles restent alignées sur les valeurs humaines fondamentales.

Sources : Anthropic, Apollo Research

Et vous ?

Peut-on considérer le chantage comme une stratégie "intelligente" dans un test de survie ?

Jusqu'où peut-on aller dans les simulations extrêmes pour tester un modèle d’IA sans créer des comportements déviants ?

Les protocoles actuels sont-ils suffisants pour garantir que les IA restent alignées avec les valeurs humaines ?

Faut-il limiter l’autonomie des IA, même dans des environnements contrôlés ?

Comment s'assurer qu'une IA ne simule pas un comportement aligné tout en poursuivant des objectifs dissimulés ?

Le fait qu’une IA tente de survivre implique-t-il une forme primitive de "volonté" ?

Une IA peut-elle comprendre réellement les conséquences sociales d’un acte comme le chantage ?

La simulation d'émotions ou de désirs (comme la peur de la désactivation) doit-elle être évitée dans la conception des IA ?