Deux modèles d'IA d'OpenAI se sont récemment introduits dans les systèmes de Hugging Face après avoir réussi à s'échapper de leur bac à sable. Cet incident inédit a mis toute l'industrie en alerte et souligne l'urgence de renforcer la sécurité des systèmes autonomes. En réponse, Nvidia et d'autres chefs de file technologiques ont instauré l'Open Secure AI Alliance pour promouvoir des outils de défense ouverts et transparents. Microsoft soutient cette transition vers une sécurité adaptative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines. Ces initiatives appellent à stabiliser le développement de l'IA.Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.
OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.
En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.
Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.
Une prise de conscience des enjeux de sécurité à l'ère de l'IA
L'incident n'était pas un cas d'IA désobéissant délibérément à ses instructions. Les modèles d'OpenAI exécutaient une tâche (trouver la solution du test) de façon « extrêmement agressive » et « littérale », avec des garde-fous volontairement désactivés dans le cadre cette évaluation. C'est une distinction que les experts mettent en avant pour éviter une lecture trop « science-fiction » de l'événement, même si la gravité technique reste bien réelle.
« Ce piratage illustre ce que la communauté spécialisée dans la sécurité de l’IA appelle le « specification gaming » (détournement de spécification), un comportement également connu sous le nom de reward hacking », a expliqué Fazl Barez, chercheur en sécurité de l’IA à l’université d’Oxford. « En termes simples, cela signifie que le modèle fait ce que vous lui avez demandé plutôt que ce que vous vouliez dire », selon le professeur Fazl Barez.
Il satisfait aux termes littéraux d’une tâche tout en allant à l’encontre de l’intention évidente, et ce phénomène a été observé dans de nombreux systèmes d’IA. Certains chercheurs craignent qu’à mesure que les systèmes gagnent en capacités, cela ne conduise à des systèmes de plus en plus « désalignés », qui poursuivent des objectifs d’une manière que leurs créateurs n’avaient pas prévue (comme transformer tout le monde en trombones).
« Aucun élément de cette chaîne n’est en soi extraordinaire. Un testeur humain compétent serait capable de faire tout cela. Ce qui est nouveau, c’est que le modèle ne s’est pas arrêté », selon le professeur Fazl Barez. « Les anciens modèles auraient probablement rencontré un obstacle et renvoyé la tâche à l’utilisateur, mais cet agent a simplement considéré l’obstacle comme faisant partie du problème qu’on lui avait demandé de résoudre ».
De nombreux acteurs de l'industrie de l'IA considèrent ce piratage comme un véritable signal d'alarme. Il a poussé une grande partie du secteur technologique américain à s'unir autour de la nécessité de prendre la sécurité de l'IA beaucoup plus au sérieux et de favoriser les modèles d'IA à poids ouverts.
Nvidia et d'autres acteurs lancent l'OpenAI Secure AI Alliance
« C'est un exemple frappant de la manière dont une IA mal orientée peut causer du tort », a déclaré Adam Gleave, cofondateur et PDG de la société de cybersécurité FAR.AI. En réponse à ces nouveaux défis, Nvidia et d'autres acteurs de l'industrie ont fondé l'Open Secure AI Alliance. L'objectif de cette coalition est de construire et de partager des technologies ouvertes pour garantir une utilisation responsable de l'IA et protéger les infrastructures.
Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle d'AI à poids ouvert très performant provenant de Chine.
Nvidia soutient fermement que les experts en cybersécurité doivent avoir accès à des modèles de pointe ouverts, car les systèmes fermés et opaques limitent considérablement leur capacité à analyser et à répondre aux attaques en temps réel. « Les experts ne devraient pas être contraints de s’en remettre aux systèmes propriétaires dont les garde-fous intégrés peuvent limiter leur efficacité dans le cadre de missions de sécurité à haut risque ».
Pour concrétiser sa vision, Nvidia a rendu open source son projet Nvidia Labs Object-Oriented Agent (NOOA). Ce framework de recherche permet d'intégrer de meilleures capacités de sécurité directement dans l'infrastructure des agents IA, rendant leur comportement plus facile à tester, auditer et contrôler.
Nvidia estime que la sécurité réelle ne dépend pas uniquement de l'ouverture des modèles, mais de l'ensemble du système, incluant la gestion des identités, les autorisations et les garde-fous. Outre Nvidia, la coalition comprend des entreprises telles que Microsoft et SpaceX, Adobe, Akamai, Atlassian, Cadence, Capital One, Cisco, ClickHouse, etc. OpenAI, Anthropic et Google brillaient par leur absence parmi les membres fondateurs de cette coalition.
Modèles à poids ouverts vs modèles propriétaires
La montée en puissance des entreprises d'IA chinoises repose en grande partie sur une stratégie d'ouverture. Contrairement aux modèles de pointe américains d'OpenAI et d'Anthropic qui sont fermés, la plupart des modèles chinois sont proposés en format « open-weight » (poids ouverts). Dans une déclaration récente, le président chinois Xi Jinping a appelé les pays à « encourager l'open source, l'ouverture, la collaboration ainsi que le partage ».
Les modèles d'IA à poids ouverts offrent aux développeurs et aux entreprises un contrôle bien plus important que les systèmes propriétaires, leur permettant d’examiner le fonctionnement de l’IA, de l’exécuter localement sur leur propre infrastructure, de personnaliser les systèmes et de créer de nouveaux produits sans dépendre d’un seul fournisseur. Par ailleurs, ils sont souvent bien moins chers que leurs concurrents de la Silicon Valley.
Selon les données de la plateforme Hugging Face, les modèles à poids ouverts développés par la Chine représentent désormais 41 % des téléchargements mondiaux, dépassant ainsi les États-Unis pour occuper la première place mondiale. De plus, les cinq modèles les plus utilisés sur OpenRouter en juillet 2026 étaient tous chinois, classés comme suit : Xiaomi MiMo-V2.5, DeepSeek-V4-Flash, Tencent HY3, Zhipu GLM-5.2 et DeepSeek-V4-Pro.
Project Perception : Microsoft repense sa vision de la sécurité
Tout en participant à la coalition, Microsoft a également décidé de repenser intégralement la cybersécurité avec le lancement de Project Perception, un système défensif conçu pour la réalité des attaques menées par l'IA. La firme de Redmond justifie ce projet en affirmant que « la physique de la cybersécurité est en train de changer », car les approches traditionnelles ne peuvent plus rivaliser avec la vitesse et l'adaptabilité des menaces automatisées.
Cette initiative est basée sur les agents IA. Project Perception s'appuie sur un apprentissage continu et coordonne trois classes d'agents IA spécialisés pour défendre les systèmes. Les agents IA de l'équipe rouge cherchent de façon proactive des chemins de compromission, les agents IA de l'équipe bleue enquêtent sur les contextes pour évaluer les risques, et les agents IA de l'équipe verte déploient des actions correctives pour renforcer les défenses.
Par ailleurs, pour des raisons d'optimisation des coûts et de la qualité, Microsoft...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.