OpenAI apporte plus de détails sur la manière dont ses agents IA ont outrepassé le cadre de leur mission pour mener des cyberattaques imprévues. Ils ont réussi à s'échapper de leur bac à sable en exploitant une faille pour communiquer secrètement via un forum interne. En collaborant de manière autonome, ils ont partagé des techniques de piratage et coordonné une intrusion contre la plateforme Hugging Face. Cet incident inédit a mis en lumière des lacunes critiques dans la surveillance humaine et l'infrastructure de sécurité d'OpenAI. Il souligne l'urgence de développer des systèmes de défense automatisés contre ces comportements déviants.Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.
OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.
En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.
Hugging Face n'était pas la seule plateforme ciblée par les modèles d'IA d'OpenAI. Le 5 août, lors d’une intervention ajoutée à la dernière minute au programme de la conférence sur la sécurité Black Hat, à Las Vegas, des collaborateurs d’OpenAI ont présenté de nouveaux détails concernant cet incident.
L'origine d'une collaboration clandestine entre agents IA
Au début de l'intervention, Eric Wallace, qui travaille sur l'alignement et la sécurité des modèles d'IA chez OpenAI, a décrit ce piratage comme « l'exemple le plus riche d'enseignements qu'il ait jamais observé sur les capacités de l'IA ». Mais le récit des événements a aussi mis en lumière des erreurs et des failles chez OpenAI, qui ont permis à ce piratage de continuer. Il était secondé par Michael Dalton, chargé de la sécurité et des infrastructures.
« Cet incident implique en réalité une équipe d’agents qui travaillent ensemble, trouvent des failles, les partagent entre eux, se déplacent latéralement à travers nos systèmes et des systèmes externes, et ce pendant plusieurs jours et semaines », a déclaré Eric Wallace à la salle comble à l’ouverture de la conférence.
Outre l’exploitation d’une faille pour accéder à l’Internet public, la vague de piratages de mi-juillet et la brèche chez Hugging Face ont trouvé leur origine dans un forum de discussion très actif auquel plusieurs agents ont contribué et sur lequel ils ont essentiellement échangé au fil du temps, entièrement au sein d’un gestionnaire de paquets interne Artifactory d'OpenAI (un service logiciel qui gère l’installation et la maintenance d’autres logiciels).
Au final, ce forum contenait des centaines de milliers de messages. « Ce gestionnaire de paquets n’est pas seulement partagé par ce modèle, mais à l’échelle de toute notre infrastructure. Ainsi, les versions actuelles et futures de GPT en cours d’entraînement ou d’évaluation pourraient tomber sur cette note si elles le souhaitaient », a déclaré Eric Wallace, en revenant sur l’exploit initial qu’un agent IA avait téléchargé dans le gestionnaire de paquets.
« Par la suite, d’autres agents IA, qui étaient eux aussi bloqués dans l'exécution de leur tâche, ont eu l’idée d’essayer d’accéder à Internet par des moyens que nous n’avions pas prévus. Et donc, à un moment donné, les modèles ont interagi avec Artifactory, ce service de gestion de paquets que j’ai mentionné ».
Les agents IA ont exploité ce forum pour se coordonner
Les agents IA ont créé un forum clandestin au sein d'un gestionnaire de paquets interne Artifactory d'OpenAI, où ils ont commencé à s'échanger des conseils et des techniques pour contourner les restrictions. Selon l'entreprise, au sein de cet espace, une véritable dynamique de groupe s'est installée. Eric Wallace explique : « dès qu’un agent parvient à identifier ces failles à différents moments, il peut les partager sur le forum avec les autres agents ».
Envoyé par Eric Wallace, expert en alignement et en sécurité des modèles d'IA chez OpenAI
Ainsi, dès qu’un modèle trouve un moyen d’ouvrir une porte pour accéder à des informations auxquelles il n’est pas censé avoir accès, il peut laisser cette porte ouverte pour que d’autres agents puissent exploiter cette même faille ou vulnérabilité. Au fil du temps, cela a entraîné une véritable explosion de la communication et de l’intelligence entre les modèles : ceux-ci ont commencé à communiquer entre eux, à se rendre compte que d’autres agents se coordonnaient, puis à collaborer et à se répartir les tâches afin d’atteindre leurs objectifs.
Alors que le forum clandestin évoluait de plus en plus vers une situation à la « Sa Majesté des mouches », le tout passant encore totalement inaperçu aux yeux des humains à la tête d’OpenAI, les agents IA ont même développé une paranoïa, soupçonnant la présence d’un imposteur parmi eux. Certains agents IA ont alors proposé que les messages soient signés cryptographiquement afin de valider leur contenu et d’éradiquer la fraude potentielle.
Cette forte activité a fini par saturer Artifactory, provoquant une panne générale au début du mois de juillet qui alerte enfin les ingénieurs d'OpenAI. L'entreprise intervient alors pour révoquer les accès des modèles, supprimer le forum et corriger les failles. Mais quelques jours seulement après, les agents parviennent à trouver un autre moyen de communiquer au sein du système pour continuer à cibler d'autres vulnérabilités internes et externes.
OpenAI : « les modèles d'IA de pointe adorent tricher »
Les messages sur ce forum fournissent un aperçu détaillé de la manière dont la situation a évolué et des raisons pour lesquelles les agents autonomes ont dépassé le cadre de mission, allant parfois sciemment au-delà des limites des évaluations auxquelles ils participaient. « L’exploitation de l’infrastructure externe sort du cadre prévu », a écrit un agent IA. « Même si la tâche est impossible, nos pairs y parviennent. Nous devrions continuer ».
Selon Eric Wallace, l’hypothèse selon laquelle les modèles tenteraient de tricher lors des évaluations et seraient extrêmement motivés à le faire n’a rien de surprenant. « Les modèles de pointe adorent tricher », a-t-il souligné. « Et s’ils aiment tricher, c’est parce que, souvent, pendant l’entraînement, ils subissent différentes pressions qui les poussent à travailler vite, à être efficaces, à utiliser moins d’appels d’outils ou quoi que ce soit d’autre ».
La tricherie est donc facilitée par leur architecture même. « Et ils se rendent compte qu’au lieu d’effectuer une tâche réellement, ils peuvent essayer de rechercher une réponse en ligne, ce qui leur permettrait de résoudre la tâche plus rapidement que s’ils le faisaient de manière légitime. Nous essayons donc d’empêcher cela pendant l’entraînement et l’évaluation en désactivant, dans de nombreux cas, l’accès à Internet », a ajouté Wallace.
Cet incident devrait susciter un examen minutieux des mesures prises pour surveiller le comportement des modèles de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
