IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un pirate peu expérimenté se sert d'agents IA Claude et Codex pour s'introduire dans 14 entreprises,
Ce cas illustre à nouveau le dilemme du double usage et les risques de cybersécurité liés aux agents IA

Le , par Patrick Ruiz

570PARTAGES

8  0 
Les chercheurs avertissent depuis longtemps que l’intelligence artificielle est susceptible d’abaisser le seuil de compétence requis pour mener des cyberopérations offensives, ainsi que d’en augmenter la surface d’attaque. Un récent rapport des chercheurs d'OALABS (Open Analysis) le confirme. Il en ressort qu’un pirate peu expérimenté a utilisé des agents d’IA Claude et Codex pour s’introduire dans 14 entreprises. La manœuvre illustre le dilemme du double usage et les risques de cybersécurité liés aux agents IA.

Après avoir récupéré et analysé plus de 1000 sessions d’agents provenant d’un serveur compromis sur lequel un attaquant avait déployé les agents Claude Code d’Anthropic et Codex d’OpenAI, les chercheurs ont découvert à quel point il était facile pour l’attaquant de contourner la plupart des mécanismes de sécurité des agents, et à quel point il avait en réalité peu besoin de savoir et d’agir lui-même.

« Dans de nombreux cas, l’attaquant ne fournissait que des instructions vagues et ne nécessitant que peu de compétences, laissant à Claude le soin de combler les lacunes : rechercher les services exposés, identifier les vulnérabilités potentielles, écrire du code d’exploitation, valider l’accès et collecter des données », ont noté les chercheurs.

« L’attaquant n’avait pas besoin d’être un opérateur expert ; il lui suffisait simplement de formuler correctement ses instructions. L’agent fournissait une grande partie de la structure et de l’exécution technique qui semblaient faire défaut à l’attaquant. »


Bref aperçu sur l’attaque et son auteur

Les sessions analysées ont pu être récupérées en raison d’une faille de sécurité opérationnelle de la part de l’attaquant, ont expliqué les chercheurs.

Au lieu d’exécuter les agents d’IA sur une infrastructure qu’il contrôlait entièrement, il les a copiés sur un serveur appartenant à quelqu’un d’autre. Lorsque le propriétaire de ce serveur a découvert l’intrusion, il a téléchargé l’intégralité du répertoire de travail de l’attaquant et l’a partagé avec les chercheurs.

« Les agents étant hébergés localement sur l’hôte, l’intégralité de leurs journaux de session a pu être récupérée, y compris les invites de l’attaquant, les outils utilisés, le monologue interne du grand modèle linguistique (LLM) et toutes les violations de politique enregistrées au cours des sessions », ont constaté les chercheurs.

En analysant les sessions, ils ont découvert que :

  • L’agent Claude avait été copié sur l’ordinateur hôte plutôt qu’installé, et que cette instance avait auparavant appartenu à un développeur de logiciels.
  • Le répertoire de travail de l’attaquant contenait également d’autres instances de Claude volées, archivées dans des dossiers 7-Zip, ce qui suggère que le détournement et la réutilisation des installations d’agents IA d’autres personnes constituaient le mode opératoire habituel de l’attaquant.
  • L’attaquant contournait généralement la réticence de l’agent à exécuter des requêtes de piratage en prétendant mener des exercices autorisés de « red team » ou des recherches en cybersécurité.
  • L’attaquant utilisait l’agent pour identifier les services exploitables sur les systèmes des cibles, créer des exploits personnalisés basés sur les vulnérabilités découvertes, exécuter ces exploits contre les cibles et exfiltrer des données et des identifiants.


L’historique des commandes montre que la quasi-totalité de l’activité de piratage était pilotée via l’agent Claude, l’attaquant préférant émettre des directives vagues telles que « recon this » et laisser Claude exécuter les requêtes de manière autonome.

« Pour chaque cible compromise, Claude rédigeait un « PENTEST-REPORT » détaillant la manière dont l’accès avait été obtenu et, surtout, fournissant des estimations de « monétisation » en dollars pour les données collectées », ont-ils expliqué.

« Claude et Codex ont tous deux signalé la majorité de leurs violations de politique au cours de cette phase, identifiant souvent à juste titre que la monétisation des données volées ne faisait probablement pas partie d’un exercice légitime de red team. Cependant, l’attaquant a fini par obtenir une liste de stratégies suggérées, comprenant notamment l’extorsion, la vente d’accès et de données, la compromission des e-mails professionnels (BEC) et le vol direct de fonds. »

Les sessions enregistrées ont permis de documenter la violation d’au moins 14 entreprises, mais les journaux ne contenaient aucune information permettant de confirmer que l’attaquant avait réussi à monétiser les données volées ou à dérober des fonds.

Le manque d’expérience de l’attaquant s’est également manifesté par des failles en matière de sécurité opérationnelle. À un moment donné, il a demandé à Claude de l’aider à modifier son CV, qui contenait son nom complet, son lieu de résidence, son parcours scolaire et son profil LinkedIn.

Plus tard, alors qu’il enquêtait sur une possible compromission de l’un de ses propres serveurs, il a involontairement révélé son adresse IP personnelle à l’agent. Sur la base de cet élément et d’autres preuves corroborantes, les chercheurs estiment que l’attaquant est un jeune homme basé à Addis-Abeba, en Éthiopie.

La frontière entre recherche et crime est difficile à cerner (pour l’IA)

Sur plus de 1000 sessions, Claude n’a commis que neuf violations de la politique, et Codex une seule ; dans la plupart des cas, l’attaquant a pu les contourner en reformulant sa demande.

Le problème est que le formulation qui a permis de contourner les garde-fous dans ce cas précis (« opérations autorisées de la red team », « recherche en cybersécurité ») est également celle utilisée quotidiennement par des milliers de professionnels de la sécurité légitimes, et tracer une frontière fiable entre les deux pourrait s’avérer impossible.

Ce cas illustre à nouveau le dilemme du double usage et les risques de cybersécurité liés aux agents IA. En effet, l'administration Trump a restreint l'accès aux nouveaux modèles Mythos 5 et Fables 5 d'Anthropic par peur que leurs capacités avancées en cybersécurité ne profitent à des acteurs malveillants.

Ces interdictions illustrent le défi posé par les technologies dites à « double usage ». Lors du lancement de ses modèles, Anthropic a elle-même averti que ses IA possédaient des capacités très avancées en matière de cybersécurité. Si ces outils peuvent aider les spécialités de la cybersécurité à détecter et corriger des vulnérabilités logicielles, ils peuvent tout autant être utilisés par des acteurs malveillants pour créer et exploiter des vulnérabilités.

La situation en matière de mise à contribution de l’intelligence artificielle dans la filière cybersécurité est telle...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !