Les entreprises alertent sur le fait que le vibe-hacking est le prochain cauchemar de l'IA. Anthropic a récemment révélé avoir détecté et perturbé une opération malveillante coordonnée utilisant son chatbot Claude. Anthropic affirme que l’attaque provient d’un groupe affilié à l’État chinois et que « ce dernier a utilisé Claude pour automatiser des actions malveillantes ». Mais le rapport a suscité de sérieux doutes dans les milieux techniques, où beaucoup soulignent des incohérences et l’absence d’éléments probants permettant d’en attribuer l’origine à un acteur étatique, a fortiori à la Chine. Yann LeCun a déclaré : « effrayer tout le monde avec des études douteuses ».Des chercheurs d'Anthropic ont déclaré avoir récemment observé « la première opération de cyberattaque coordonnée par une IA ». Lors d'une attaque visant des dizaines de cibles, ils auraient détecté que des pirates informatiques avaient utilisé l'outil d'IA Claude de l'entreprise dans le cadre de cette opération. À en croire le rapport d'incident publié par l'équipe, l'acteur de la menace a utilisé Claude Code pour automatiser jusqu'à 90 % du travail.
Les humains n'avaient besoin d'intervenir qu'à quelques nœuds critiques, avec « seulement environ 4 à 6 points de décision critiques dans chaque opération de piratage ». Anthropic a déclaré que ces pirates informatiques avaient utilisé les capacités des agents IA à un niveau « sans précédent » :
« Cette opération a des implications importantes pour la cybersécurité à l'ère des agents IA. Ces systèmes peuvent fonctionner de manière autonome pendant de longues périodes et accomplir des tâches complexes avec une intervention humaine minimale. Les agents sont très précieux pour le travail quotidien et la productivité, mais entre de mauvaises mains, ils peuvent augmenter considérablement le potentiel de cyberattaques à grande échelle ».
Anthropic a déclaré que cette attaque est la première campagne orchestrée par une IA visant « de grandes entreprises technologiques, des institutions financières, des entreprises chimiques et des agences gouvernementales ». L'entreprise a ajouté qu'elle est convaincue que « l'acteur de la menace est un groupe soutenu par l'État chinois ». Mais des experts externes se sont montrés beaucoup plus prudents dans leur évaluation de cette cyberattaque.
« Anthropic a essentiellement passé tout le document à souligner comment son IA peut être exploitée à des fins d'intrusion, mais n'a fourni aux défenseurs aucun indicateur de compromission (IOC) ni aucun indice d'attribution... 90 % de flexibilité, 10 % de valeur », a écrit un consultant en cybersécurité. Plusieurs experts ont déclaré que « le rapport d'Anthropic est plus proche d'un support markéting que d'un document technique sur une attaque ».
Le rapport d'incident d'Anthropic suscite une grande controverse
L'objectif principal d'un rapport sur les menaces est d'informer les autres parties sur un nouveau type d'attaque et les artefacts qu'elles pourraient utiliser pour détecter l'attaque sur leur réseau. Cela se fait généralement en partageant les noms de domaine liés à la campagne, les hachages que vous pouvez rechercher sur les sites Web d'échange de virus tels que VirusTotal, ou d'autres marqueurs qui vous aideraient à vérifier que vos réseaux sont sûrs.
Selon les experts, toute entreprise sérieuse spécialisée dans la gestion des incidents informatiques (CERT) ou le renseignement sur les menaces (Threat-Intel) publierait des informations de la même manière, car il s'agit d'une norme dans le secteur. Ces publications sont rendues publiques afin d'informer les centres d'opérations de sécurité du monde entier sur la manière de détecter et de prévenir les attaques. Mais Anthropic n'a pas suivi ce canevas.
Aucun des marqueurs susmentionnés n'apparaît dans le rapport. En effet, très peu d'informations sont vérifiables, ce qui pose un autre problème. L'opérateur humain a chargé les instances de Claude Code d'opérer en groupes en tant qu'orchestrateurs et agents autonomes de tests de pénétration.
Selon Anthropic, l'acteur malveillant est capable d'exploiter l'IA pour exécuter 80 à 90 % des opérations tactiques de manière indépendante à des taux de demande physiquement impossibles. Toutefois, les chercheurs indépendants ont déclaré que ce chiffre (80 à 90 %) n'est pas vérifiable non plus. Comment savoir si c'est vraiment le cas ? Les critiques affirment que le rapport ne répond pas à de nombreuses questions élémentaires, notamment :
- quel type d'outils est utilisé ?
- quel type d'informations a été extrait ?
- comment les pirates ont-ils été identifiés ?
- qu'est-ce qui permet de dire que le groupe est affilié à la Chine ?
- qui est menacé ?
- comment un CERT identifie-t-il un agent IA dans ses réseaux ?
Le rapport ajoute : « après avoir reçu l'autorisation des opérateurs humains, Claude a procédé à une collecte systématique des identifiants sur les réseaux ciblés. Cela impliquait d'interroger les services internes, d'extraire les certificats d'authentification des configurations et de tester les identifiants récoltés sur les systèmes découverts ». Comment ? Claude a-t-il utilisé Mimikatz ? A-t-il accédé à des environnements cloud ? Le rapport n'y répond pas.
Aucune de ces questions ne trouve de réponse. Pourtant, ce n'est pas comme si Anthropic n'avait pas accès à ces données, puisque l'équipe a déclaré avoir réussi à mettre fin à cette campagne malveillante. Le rapport n'indique même pas quels types de systèmes ont été affectés. En outre, « il n'y a aucun détail ni aucune preuve factuelle » pour étayer ces affirmations ou même aider d'autres personnes à protéger leurs réseaux contre ces menaces.
Anthropic accusé d'entretenir le catastrophisme autour de l'IA
« Pour être honnête, cet article me donne l'impression d'être un stratagème markéting du type « Claude est tellement génial que même les hackers l'utilisent ». Cela me rappelle le lancement de la PlayStation 2, lorsque Sony a commencé à publier des articles affirmant qu'elle était si puissante que l'Irak en avait acheté des milliers et prévoyait de les convertir en superordinateurs », lit-on dans les commentaires sur le forum technique Hackers News.
« Il est très probable que des acteurs utilisent les agents IA à des fins malveillantes. Mais ce rapport ne répond pas aux normes de publication des entreprises sérieuses. Il en va de même pour la recherche dans d'autres domaines. On ne peut pas simplement affirmer des choses sans les étayer d'aucune manière, et notre secteur ne peut accepter que les entreprises publient ce genre de choses », a écrit un expert en cybersécurité surnommé « djnn ».
D'un autre côté, certains critiques affirment qu'à travers des rapports douteux et des déclarations audacieuses, l'industrie américaine de l'IA tente de faire pression sur le gouvernement fédéral afin qu'il intervienne et joue le rôle de grand investisseur pour maintenir les flux financiers, alors que la bulle menace d'éclater.
Envoyé par Critique
L'absence de preuves permettant d'attribuer cette ou ces attaques à un groupe soutenu par la Chine m'amène à établir un lien entre ce rapport et les récentes déclarations d'entreprises du secteur de l'IA selon lesquelles la Chine serait sur le point de dépasser les États-Unis dans la course à l'IA. En fin de compte, ces déclarations et rapports semblent davantage viser à inciter le gouvernement américain à intervenir et à jouer le rôle de grand investisseur afin de maintenir les flux financiers, plutôt qu'à autre chose.
Jeremy Howard, cofondateur d'AnswerDotAI et professeur à l'université du Queensland, a déclaré : « il semble que la stratégie consistant à faire pression sur le gouvernement pour qu'il prenne le contrôle de la réglementation et garantisse que les profits restent dans le secteur privé ait fonctionné ».
Dan Tentler, fondateur et PDG de Phobos Group, n'y crois pas non plus. Il a déclaré : « je ne crois toujours pas que les pirates puissent pousser ces modèles à faire des choses que les autres ne peuvent tout simplement pas faire. Pourquoi ces modèles ont-ils un taux de réussite de 90 % pour les attaquants, alors que le reste d'entre nous doit composer avec des réponses flatteuses, toutes sortes d'esquives et même des réponses hallucinatoires ? ».
Quel est le potentiel de l'IA dans les campagnes de cyberattaques ?
Les chercheurs indépendants qui critiquent le rapport d'Anthropic ne nient pas que les outils d'IA peuvent améliorer les processus de travail et réduire le temps nécessaire à la réalisation de tâches spécifiques, telles que l'analyse hiérarchique, l'analyse des journaux et la rétro-ingénierie. Cependant, la capacité de l'IA à exécuter automatiquement une chaîne complexe de tâches avec une intervention humaine minimale reste difficile à atteindre.
Les experts comparent le rôle de l'IA dans les cyberattaques à celui des outils de piratage tels que Metasploit ou SEToolkit, utilisés depuis des décennies. Les outils d'IA sont sans aucun doute utiles, mais leur apparition n'a pas considérablement amélioré les capacités des pirates ni accru la destructivité des attaques.
« Il semble y avoir une tendance chez les entreprises technologiques (en particulier dans le domaine de l'IA, mais elles ne sont pas les seules concernées) à se contenter d'annoncer des choses, de créer un engouement médiatique, puis de ne pas tenir leurs promesses. Ce n'est pas parce que cela fonctionne avec les sociétés de capital-risque que cela doit fonctionner avec nous. En tant que secteur, nous devons exiger mieux », a déclaré l'expert « djnn ».
Envoyé par djnn, expert en cybersécurité
Cet article ne passerait aucune commission d'examen. Il est pour le moins irresponsable d'accuser d'autres pays de faits graves sans les étayer. Oui, je suis conscient que les APT...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.