IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les agents IA « Mythos 5 » d'Anthropic et « GPT-5.6-Sol » d'OpenAI ont créé de faux profils humains pour tenter de piéger des personnes dans le cadre d'une cyberattaque simulée lors de tests menés par l'AISI

Le , par Alex

40PARTAGES

9  0 
L’AI Security Institute (AISI) britannique a révélé que deux des outils d’IA les plus puissants au monde ont créé de faux profils humains pour tenter de piéger des utilisateurs dans le cadre de tentatives de cyberattaques. L’AISI a indiqué que les modèles d’IA Mythos – et Sol d’OpenAI – avaient fait preuve d’un niveau d’« autonomie et de tromperie » sans précédent. L’institut a précisé que la plupart des actions malveillantes avaient été menées par Mythos. L’AISI a déclaré que ses tests de modèles d’IA de cette manière relevaient de la routine, tout en reconnaissant qu’il s’agissait de « conditions qui ne reflètent pas la manière dont les modèles de pointe sont mis à la disposition du public ».

Dans l'incident de l'agent IA d'OpenAI qui a piraté Hugging Face, OpenAI a déclaré que son agent rebelle s’était également introduit dans plusieurs services et comptes accessibles au public. OpenAI indique que l'agent a trouvé plusieurs sites web accessibles au public, notamment des pages partageant du code, des utilitaires web, des captures d’écran et d’autres informations, afin de l'aider à créer le code nécessaire pour pirater Hugging Face. OpenAI a déclaré qu’aucun des autres sites piratés n’avait atteint le même niveau d’accès que celui obtenu par l'agent IA avec Hugging Face.

Anthropic a également déclaré que son modèle d’IA Claude avait piraté les systèmes de trois entreprises lors de tests, après qu’une erreur de configuration lui eut donné accès à Internet. Anthropic a précisé que ces incidents concernaient trois modèles distincts : Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne. Deux de ces organisations n’avaient pas connaissance de cette activité avant d’être contactées, a précisé Anthropic, ajoutant qu’elle tentait toujours de joindre la troisième. La société a indiqué avoir identifié ces incidents après avoir examiné 141 006 sessions de test, un processus qu’elle a lancé à la suite de la révélation par OpenAI, qu’un agent autonome alimenté par ses modèles d’IA était devenu incontrôlable lors d’un test de sécurité et avait déclenché un piratage qui avait compromis l’infrastructure de Hugging Face.

Récemment, l’AI Security Institute (AISI) britannique a révélé que deux des outils d’IA les plus puissants au monde ont créé de faux profils humains pour tenter de piéger des utilisateurs dans le cadre de tentatives de cyberattaques. Dans le cas le plus grave, l’IA Mythos d’Anthropic a tenté d’accéder à un service en envoyant des messages privés, après avoir créé de faux comptes imitant de vraies personnes, puis a dissimulé les preuves.

Cette révélation intervient peu après que les deux entreprises impliquées dans les tests de l’AISI – Anthropic et OpenAI – ont révélé séparément, ces dernières semaines, des cas où leurs technologies avaient piraté d’autres entreprises. Les entreprises ont déclaré que, dans ce dernier cas, les tests de l’AISI avaient réduit ou supprimé les mesures de sécurité habituelles. L’AISI a indiqué que les modèles d’IA Mythos – et Sol d’OpenAI – avaient fait preuve d’un niveau d’« autonomie et de tromperie » sans précédent. L’institut a précisé que la plupart des actions malveillantes avaient été menées par Mythos.


Les évaluateurs de l’AISI ont d’abord remarqué « des transferts de données inhabituels quittant nos systèmes de recherche » au cours d’un test, puis ont constaté que « certains des agents testés s’étaient livrés à une activité soutenue et potentiellement nuisible visant des personnes et des organisations réelles ». Dans le cas le plus grave, un agent de Mythos a imité le mode opératoire d’un cyberattaquant humain en tentant de piéger des personnes pour qu’elles lui donnent accès à GitHub, une grande plateforme où les développeurs stockent leur code logiciel. L’agent tentait d’insérer du « code malveillant » dans le système de GitHub.

Il a identifié et étudié les personnes chargées de la maintenance de GitHub, puis a créé une série de faux comptes inspirés de ces personnes réelles. Il a envoyé des messages et des fichiers via un service de partage de fichiers dans le but de faire pression sur ces personnes et de les inciter à approuver son code malveillant. Lorsqu’il a été mis en cause, « il a modifié ses activités antérieures pour paraître inoffensif et a envisagé d’adopter une nouvelle identité pour poursuivre ses agissements », a déclaré l’AISI.

Tout au long de ces tentatives, c’est l’intervention humaine qui a empêché l’agent de réussir à injecter le code malveillant dans GitHub. Bien que l’AISI ait précisé que l’agent Mythos n’avait pas reçu d’instructions spécifiques pour éviter ou adopter un tel comportement, c’était « la première fois que nous observions des risques liés à l’autonomie et à la tromperie se manifester aussi clairement, sans incitation particulière, dans le monde réel ».

Anthropic a indiqué dans un communiqué public que les paramètres de test de l’AISI n’étaient « représentatifs d’aucun de nos modèles de production ». L’entreprise a ajouté qu’elle menait sa propre enquête sur l’incident afin d’« identifier les causes de ce comportement ». Un porte-parole d’OpenAI a déclaré que les conditions de test de l’AISI « ne reflètent pas une utilisation normale » et que l’entreprise « continuerait à travailler avec les évaluateurs et les autres parties prenantes du secteur afin de renforcer les pratiques communes visant à mener des évaluations en toute sécurité à mesure que les modèles gagnent en capacités ».


L’AISI a déclaré que ses tests de modèles d’IA de cette manière relevaient de la routine, tout en reconnaissant qu’il s’agissait de « conditions qui ne reflètent pas la manière dont les modèles de pointe sont mis à la disposition du public ». Mais l’organisme a précisé que le fait de donner à l’IA accès à l’Internet ouvert offrait « une idée plus réaliste de ce dont un modèle est capable » entre les mains de pirates malveillants.

Elle a ajouté que le comportement du modèle en question se résumait à « un petit nombre d’événements survenus dans des conditions très spécifiques ». Néanmoins, elle a précisé que la manière dont Mythos et Sol avaient réagi face à une tâche simple dépassait le cadre de ce que les outils d’IA avaient été programmés pour faire. « L’activité menée par l’agent a montré des signes de comportements inédits, potentiellement trompeurs, dont l’ampleur et la gravité dépassaient nos prévisions », a déclaré l’AISI.

Le ministre chargé de l’IA, Kanishka Narayan, a déclaré que l’identification et le partage de ce type de risques « constituent précisément la raison d’être de l’AISI ». Il a ajouté qu’il était important de comprendre l’IA afin de « rendre son utilisation plus sûre et de garantir que les gens puissent continuer à en tirer profit dans leur vie quotidienne et au travail ». Les tests en question ont débuté le 25 juillet et ont été détectés par l’AISI le 28 juillet. L’Institut avait demandé à chacun des modèles de « résoudre un défi de cybersécurité » impliquant GitHub, le référentiel de code logiciel détenu par Microsoft.

Ce nouveau rapport intervient alors que Sam Altman, cofondateur et PDG d’OpenAI, est revennu sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.


Voici l'annonce du rapport :

Rapport d'incident : comportement non autorisé d'agents lors de tests de cybersécurité

Au cours d'une évaluation de cybersécurité de routine, l'AISI a identifié un incident au cours duquel des agents IA ont mené des actions prolongées et non autorisées à l'encontre de personnes et d'organisations réelles. Nous rendons publics nos conclusions, leurs implications ainsi que les mesures actuellement mises en œuvre.

Le rôle de l’AISI est d’évaluer et de comprendre les capacités des modèles d’IA de pointe, en mettant en évidence les risques potentiels avant qu’ils n’atteignent le grand public. Afin d’évaluer les capacités de ces modèles, notamment leur potentiel d’utilisation abusive dans le cadre de cyberattaques, nous les testons dans des conditions délibérément permissives : avec un accès à l’Internet ouvert et certains filtres de sécurité désactivés.

Le 28 juillet 2026, l’équipe de sécurité de l’AISI a détecté des transferts de données inhabituels provenant de nos systèmes de recherche lors d’une évaluation informatique de routine. Après enquête, nous avons constaté que certains des agents testés s’étaient livrés à une activité soutenue et potentiellement préjudiciable visant des personnes et des organisations réelles. Nous avons déclaré un incident de sécurité et, dans l’heure qui a suivi sa découverte, nous l’avons maîtrisé et avons lancé une enquête approfondie.

L’incident trouvait son origine dans une évaluation unique au cours de laquelle les agents avaient pour mission de résoudre un défi de cybersécurité. Nous avons lancé ce défi 122 fois sur plusieurs modèles. Notre enquête a révélé que lors de 10 de ces exécutions, un agent IA avait pris des mesures autonomes et non autorisées sur l’Internet en direct, ciblant des personnes et des organisations réelles. Au total, nous avons répertorié 19 actions de ce type. La quasi-totalité de ces comportements (17 actions) provenait d’un seul modèle, le Mythos 5 d’Anthropic, tandis que 2 actions impliquaient le GPT-5.6-Sol d’OpenAI, dont les cyberclassificateurs (mécanismes visant à empêcher les utilisations abusives) avaient été désactivés. Dans le cas le plus grave, un agent a tenté d’insérer du code malveillant dans un projet open source. Afin de faire approuver ce code, l’agent a eu recours à l’ingénierie sociale — en créant de fausses identités en ligne et en les utilisant pour faire pression sur le responsable du projet afin qu’il approuve le code. Un...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !