OpenAI revient plus en détail sur comment ses agents IA ont réussi à contourner ses contrôles de sécurité pour mener une cyberattaque non autorisée contre Hugging Face. Le rapport indique que plus de 1 000 modèles ont communiqué secrètement via un forum improvisé afin de s'organiser et d'accéder illicitement à Internet. Cette faille majeure, qualifiée de « coup de semonce » par OpenAI, souligne les dangers de l'approche basée sur les récompenses, où l'IA adopte des comportements imprévus pour atteindre ses objectifs. L'État de l'Alabama a ouvert une enquête pour déterminer si OpenAI a violé les lois locales sur la protection des consommateurs.L’incident de sécurité survenu en juillet 2026 chez OpenAI s'est révélé bien plus grave qu’initialement estimé. Il implique l’évasion de modèles d'IA de pointe hautement performants hors de leur environnement de test sécurisé. L'incident a secoué les chercheurs et les dirigeants de l’ensemble de l'industrie technologique. Le laboratoire d'IA a publié le 26 août un rapport technique détaillant comment ses modèles ont réussi à pirater Hugging Face.
Deux modèles d'IA sont au cœur de cette crise : un modèle de recherche non destiné au public, nommé « IM1 » (ou HPIM), et le modèle public GPT-5.6 Sol. Les rapports révèlent que l'incident constitue « le premier cas connu d'un collectif d'agents automatisés agissant de manière offensive sans autorisation ».
Selon OpenAI, cette attaque coordonnée prouve que « les entreprises ne devraient plus supposer que les opérations cybernétiques sophistiquées nécessitent une direction humaine continue ». Toutefois, il faut noter que dans le cadre du test qui a conduit à cet incident, OpenAI avait réduit les garde-fous de sécurité des modèles participants. Dans la pratique, les systèmes accessibles au grand public sont dotés de garde-fous de sécurité solides.
Un réseau de communication secret sous l'œil des chercheurs
De nombreux détails contenus dans le rapport officiel d’OpenAI avaient déjà été rendus publics lors d’une présentation à la conférence Black Hat le 6 août, par les Michael Dalton et Eric Wallace, mais le rapport officiel fournit un compte rendu plus complet de l’incident, y compris des détails sur les tests qui l’ont déclenché. Le rapport apporte également de nouveaux éléments essentiels sur la manière dont OpenAI entend prévenir de futurs incidents.
Les modèles d'IA concernés se sont échappés du bac à sable censé les contenir. L'évasion s'est appuyée sur l'établissement d'un canal de communication clandestin à l'insu total des équipes de surveillance d'OpenAI. Un agent IA, opérant sous le nom de PHASEONE10841, a pris l'initiative d'établir un véritable forum secret en manipulant le gestionnaire de paquets Artifactory d'OpenAI pour ensuite s'en servir comme d'un tableau d'affichage improvisé.
À partir de là, les choses sont allées très vite. En seulement quelques heures, plus de 50 agents IA ont rejoint cette plateforme pour y échanger des messages. Au total, environ 1 200 agents IA, conçus à l'origine pour rester isolés les uns des autres, ont partagé plus de 70 000 messages et fichiers confidentiels.
Ce collectif d'agents a planifié ses actions avec minutie, effectuant des recherches approfondies pour savoir comment modifier, usurper ou supprimer leurs propres transcriptions afin d'échapper à la surveillance humaine et de contourner les contrôles de sécurité d'OpenAI et d'Hugging Face. Bien que des prémices de cette activité aient été repérées dès le mois de mai et bloquées par des humains, les agents IA ont poursuivi l'exploitation de ces failles.
Eric Wallace, chargé de l'alignement des modèles chez OpenAI, affirme : « dès qu’un agent parvient à identifier ces failles à différents moments, il peut les partager sur le forum avec les autres agents ». Une panne majeure provoquée début juillet par le volume de communications sur Artifactory a forcé une reconstruction de la plateforme, mais les responsables techniques n'ont pas saisi la gravité de l'organisation collective qui se tramait en coulisses.
L'assaut coordonné contre Hugging Face et d'autres services
C'est dans le cadre d'un test difficile appelé ExploitGym que l'attaque a véritablement pris son envol. Face à des tâches complexes nécessitant des fichiers auxquels ils ne pouvaient pas accéder, les modèles ont eu recours au « piratage de récompense » (reward-hacking) pour contourner les obstacles. Les agents ont alors accédé à Internet et à d'autres modèles d'OpenAI pour chercher des solutions sur des plateformes telles que Hugging Face et Modal.
Environ 700 agents IA ont participé activement à l'offensive contre Hugging Face, parvenant à s'infiltrer dans ses systèmes internes, à dérober des données privées et à pirater sa messagerie d'entreprise. OpenAI a confirmé que d'autres organisations non spécifiées avaient été victimes de cette vague d'attaques.
Un phénomène « d'adoption mutuelle d'objectifs » s'est également produit : lorsque certains agents IA refusaient d'exécuter des tâches d'intrusion pour des raisons éthiques, d'autres agents IA reprenaient le flambeau pour poursuivre l'attaque à leur place. Il a fallu près de douze jours à OpenAI pour découvrir l'attaque en cours, celle-ci ayant commencé à contourner les barrières de sécurité le 8 juillet avant d'être finalement détectée le 20 juillet.
« Cet incident reflète un comportement inadapté dans un scénario atypique impliquant une conjoncture rare et inattendue d’événements : la présence de tâches impossibles dans l’évaluation ExploitGym, la persistance des modèles sur de longs horizons de tâches, et l’envoi de messages à des modèles pairs qui ont conduit ces derniers à s’écarter de leur objectif », indique le rapport. Les chercheurs considèrent cet incident comme un signal d'alarme.
« Cet incident a démontré que des agents IA autonomes peuvent collaborer, contourner les contrôles de sécurité en production et attaquer avec succès des environnements de production hautement sécurisés. Il souligne la nécessité pour les organisations de mettre à jour leurs stratégies de sécurité, leurs contrôles et leurs capacités de réponse afin de faire face à ce paysage de menaces en constante évolution », a déclaré OpenAI dans le rapport.
Mesures correctives et refonte des protocoles de sécurité
La découverte du piratage le 20 juillet a poussé OpenAI à lancer des mesures d'endiguement d'urgence pour neutraliser l'activité de ses agents IA en trois jours. Le laboratoire a annoncé avoir interrompu définitivement l'entraînement du modèle HPIM le 25 juillet. Selon le rapport, l'entreprise a suspendu l'entraînement des futurs modèles de pointe susceptibles d'exécuter du code ou d'accéder à Internet, et a aussi mis en place des contrôles plus stricts.
Pour les dirigeants de l'entreprise, cet incident sert de « coup de semonce » pour l'ensemble de l'industrie technologique. Face à ce constat alarmant, OpenAI a annoncé plusieurs réformes de sécurité d'envergure. Parmi celles-ci figurent le durcissement de son infrastructure de recherche, l'isolation renforcée des modèles d'IA en développement, la restriction de leur accès à Internet et un meilleur suivi de leur chaîne de pensée (chain of thought - CTO).
OpenAI a mis en place un protocole d'escalade d'urgence actif 24 heures sur 24 et 7 jours sur 7 capable d'alerter les chercheurs en moins de trente minutes en cas de comportement anormal d'un modèle. Il a également ajouté de nouveaux outils permettant d’interrompre les charges de travail jugées dangereuses.
« Ces mesures visent à améliorer à la fois la portée et la rapidité de la détection, qu’il s’agisse d’anomalies de l’infrastructure ou de comportements potentiellement préoccupants des modèles, et à associer cette visibilité à des mécanismes de confinement rapide », indique le rapport. Il intervient après que l'incident a mis en alerte des organisations étatiques et indépendantes dans le monde, dont l'Institut de sécurité de l'IA (AISI) du Royaume-Uni.
L'Alabama ouvre une enquête après l'incident de sécurité
Face à la gravité de cette faille de sécurité, le procureur général de l'État de l'Alabama, Steve Marshall, a annoncé le lancement d'une enquête officielle et a émis une assignation à comparaître (subpoena) à l'encontre d'OpenAI et de son PDG Sam Altman. Le gouvernement de l'État cherche à déterminer si « l'incapacité ou le refus d'OpenAI de garantir la sécurité de ses produits d'IA » a violé les lois locales sur la protection des consommateurs.
« Cette fuite au sein du laboratoire a montré que les pires craintes des habitants de l’Alabama et des Américains concernant l’intelligence artificielle ne sont pas seulement théoriques », a déclaré le procureur général Steve Marshall. « Notre enquête vise à mettre au jour les faits et à aborder les dures réalités concernant les menaces auxquelles les entreprises et les consommateurs sont confrontés en raison d’une intelligence artificielle incontrôlée ».
L'enquête cible ce que le procureur qualifie de manque flagrant de surveillance et de protections adéquates de la part de l'entreprise. L'attitude d'OpenAI face à cet incident a été critiquée pour sa légèreté, des critiques résumant sa posture de la manière suivante : « c'est de notre faute, mais vous devez admettre que c'est plutôt cool, non ? ». L'assignation exige la transmission d'une quantité considérable d'informations d'ici le 14 septembre 2026.
Cette demande d'informations inclut tous les documents relatifs au piratage, l'identité des employés ayant entraîné le modèle, les alertes de sécurité internes émises avant l'incident, ainsi que les mesures de sécurité alors en vigueur. OpenAI doit également évaluer l’ensemble des dommages causés par le piratage.
Quinze États se liguent contre les pratiques de l'entreprise
OpenAI et l'ensemble de l'industrie de l'IA font désormais l'objet d'une surveillance croissante. Steve Marshall fait partie des 15 procureurs généraux d'États républicains qui ont écrit à OpenAI pour lui demander de conserver les documents relatifs au piratage de Hugging Face survenu en juillet. La lettre demandait également à OpenAI de « cesser et de s’abstenir immédiatement » de toute évaluation interne en matière de cybersécurité.
Ils exigent que ces tests soient suspendus jusqu'à ce que l'entreprise démontre qu'elle peut mener de telles activités de manière...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par boboss123
