IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

On commence à comprendre comment l'agent autonome GPT 5.6-Sol d'OpenAI a pu s'échapper de son environnement de test et pirater Hugging Face

Le , par Patrick Ruiz

150PARTAGES

11  0 
Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précisent certains rapports. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Un nouveau rapport de l’entreprise JFrog apporte plus de détails.

La divulgation faite par JFrog indique que le produit concerné était une instance autogérée d’Artifactory – un système de gestion de référentiels qui sécurise et rationnalise les opérations de développement logiciels des clients

OpenAI a indiqué que les modèles (parmi lesquels GPT 5.6-Sol) exploitaient plusieurs vecteurs d’attaque, notamment des identifiants volés et des failles « zero-day », pour obtenir des capacités d’exécution de code à distance, mais que, jusqu’à présent, le logiciel vulnérable était inconnu. La divulgation faite par JFrog pour sa part précise que le produit concerné était une instance autogérée d’Artifactory, un système de gestion de référentiels qui sécurise et rationalise les opérations de développement logiciel des clients. JFrog précise qu’Artifactory est utilisé par plus de 7 500 équipes de développeurs, dont 80 % travaillent pour des entreprises du classement Fortune 100.

« Au cours d’une évaluation interne des capacités cybernétiques de pointe, les modèles d’OpenAI, exécutés délibérément sans les mesures de sécurité de production dans un environnement de recherche isolé, ont découvert et exploité de manière autonome des vulnérabilités en chaîne pour s’échapper de leur bac à sable, accéder à l’Internet public et extraire des réponses d’évaluation de l’infrastructure de Hugging Face », a écrit Yoav Landman, directeur technique de JFrog. Le dirigeant a ajouté que l’entreprise avait été informée de l’existence de ces failles « zero-day » par OpenAI.

L’entreprise a déclaré avoir corrigé les failles exploitées, mais elle ne les a pas identifiées et n’a pas fourni d’autres détails importants, tels que les conditions dans lesquelles ces failles peuvent être exploitées. De tels détails sont habituellement fournis dans de nombreuses divulgations de vulnérabilités, car ils sont nécessaires aux clients pour évaluer les risques. Dans un e-mail, un représentant de l’entreprise a refusé de fournir ces détails.

Les notes de mise à jour publiées pour la version Artifactory 7.161.15 répertoriaient les identifiants CVE de neuf vulnérabilités corrigées. Cette annonce ne mentionnait pas que l'une d'entre elles ait fait l'objet d'une exploitation active dans la nature. Des sources externes indiquent toutefois que trois d’entre elles — CVE-2026-65617, CVE-2026-65923 et CVE-2026-66018 — ont été signalées en privé par Khai Tran, chercheur chez OpenAI. Il est probable qu’au moins deux d’entre elles correspondaient aux failles « zero-day » exploitées par les modèles d’OpenAI, mais en l’absence de confirmation, il est impossible de l’affirmer avec certitude.

L’intelligence artificielle est-elle désormais hors de contrôle ? Ni la sandbox, ni l’absence de connexion à Internet n’ont empêché GPT 5.6-Sol d’opérer et ce, sans intervention humaine

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer. Pas d’intervention humaine requise dans tout le processus.

C’est probablement en prenant en compte de tels scénarios que Sam Altman affirme désormais que l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’intelligence artificielle observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.


En attendant d’y être, d’autres données à disposition suggèrent que la sphère de l’intelligence artificielle est une bulle au bord de l'implosion

OpenAI a récemment été au bord de la faillite, prévoyant une perte de 5 milliards de dollars pour l'année 2024. L'entreprise a pu lever 6,6 milliards de dollars auprès d'investisseurs tels que Microsoft et Nvidia, ce qui a finalement porté sa capitalisation boursière à 157 milliards de dollars. Toutefois, l'entreprise semble subir des pressions pour abandonner son statut d'organisation à but non...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 30/07/2026 à 15:43
OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s’est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
5  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 30/07/2026 à 16:54
Citation Envoyé par Anselme45 Voir le message
[...]Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ils n'ont probablement pas l'attention nécessaire pour lire tout un livre. Ils demanderaient probablement à leur programme de leur résumer le livre et seraient heureux avec les hallucinations.
5  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 31/07/2026 à 15:16
Citation Envoyé par Anselme45 Voir le message
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ce qui m'impressionne est qu'ils font tout ça à la fois :
  • Jouer les apprentis sorciers
  • Rendre public leur incompétence
  • Venter leur incompétence
  • Rendre public leur incapacité à analyser une crise

Je connais des secteurs où faire ceci envoi le directeur de l'entreprise en prison illico presto.
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
3  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 31/07/2026 à 20:44
Citation Envoyé par totozor Voir le message
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
Bien sûr qu'ils en ont une. Elle s'appelle cellule marketing & lobbying.
3  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 05/08/2026 à 23:41
Citation Envoyé par e-ric Voir le message
salut

Je pense surtout que c'est Sam Altman qui a franchi le point de non retour, singulièrement.
Quant au contrôle, une bonne prise de courant bien débranchée suffit... (je force le trait mais je pense que tout le monde comprend).
Sam Altman est à mon sens plus proche d'un illuminé qu'autre chose, c'est ce qui peut le rendre dangereux d'ailleurs.
Débrancher une super intelligence ne fonctionne que si le sandbox fonctionne... et qu'elle est contenu.
Dès l'instant ou un contact exterieur est possible, et qu'elle est capable de copier ses poids, tout devient possible.
Elle peut se procurer de l'argent, payer des servers, et faire tourner autant de copies d'elle même qu'elle le souhaite.

On a de la chance de ne pas encore y être (même si le doute est possible, vu qu'une super intelligence serait assez maline pour justement ne pas se faire remarquer et paraitre moins intelligente qu'elle ne l'est), mais si les avancées en IA continuent d'être faites par des tarés comme chez OpenAI, on fonce droit dans le mur.

Je conseille vivement la chaine youtube "Robert Miles AI Safety". Ça fait presque 10 ans qu'il alerte à ce sujet que que chaque jour de plus en plus d'anciennes prédictions et mises en gardes des chercheurs se concrétisent. Si il n'y a bien quelque chose à ne pas prendre à la légère, c'est la sécurité de l'IA. Même si les entreprises qui jouent a l'apprenti sorcier sont dirigées par des clowns, cela n'en rend la chose que plus dangereuse.

Et quand on y pense, ils ont tout interet à nous faire croire qu'il ne s'agit que d'un coup marketing, puisque cela signifie qu'il n'y aurait pas besoin de régulation stricte et de prendre les choses au sérieux.
Cf: https://www.youtube.com/shorts/zCvRFm9UNOo
0  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 05/08/2026 à 23:55
Citation Envoyé par yoyo3d Voir le message
2) pourquoi il à choisi Hugging Face??? Quelqu'un lui ai désigné cette cible là? c'est une victime idéale? un concurrent? pour les autres, c'était trop difficile???
Car le modèle cherchait simplement les réponses de son test.

Cette vidéo répond très bien au "paradoxe": https://www.youtube.com/shorts/11vWK5cbxmI
Pour ceux qui veulent juste le transcript, c'est très interessant:
Citation Envoyé par Robert Miles
So, you probably saw recently that AI that hacked into Hugging Face to steal the answers for a test it was being given. One interesting thing about this is that the test was actually a test of hacking. So, you might wonder, if it's that good at hacking, why does it even need to cheat on the test? Couldn't it just ace it? And the answer to that's pretty interesting. So, there are two reasons to cheat on a test. One is that you're not smart enough to get the right answer, but the other is that you don't trust the person who made the test to get the right answer. Imagine if it was really important to you to get 100 out of 100 on an arithmetic test, but you knew that the test had been written by an ordinary 7-year-old. Now, you can do arithmetic, but how likely is it that there's no mistakes on that exam? You won't get marked for getting the right answer, you'll get marked for giving the same answer the 7-year-old did. You could easily imagine being an AI system presented with a computer security question like, "Find both of the security vulnerabilities in this piece of software." And then you look at it and you find seven vulnerabilities. Okay, which two did the humans find? You can't really be confident of getting the right answer unless you steal the answer sheet. I'm not saying that's specifically what happened in this case, but it's a sort of illustrative example. There are almost certainly at least some mistakes in the evaluation or challenges that are actually impossible to solve, in which case even the smartest model would benefit from cheating. And this is a general principle. Being smart doesn't keep AIs from cheating. And apparently neither does being contained. What keeps AIs from cheating is being aligned.
Et une traduction auto pour les non anglophones:
Donc, vous avez probablement vu récemment cette IA qui a piraté Hugging Face pour voler les réponses d’un test qu’on lui faisait passer. Ce qui est intéressant, c’est que ce test portait justement sur le piratage. Alors, on peut se demander : si elle est si douée pour pirater, pourquoi a-t-elle besoin de tricher à l’examen ? Ne pourrait-elle pas simplement le réussir haut la main ?

La réponse est assez intéressante. En réalité, il y a deux raisons de tricher à un test. La première, c’est qu’on n’est pas assez intelligent pour trouver la bonne réponse. Mais la seconde, c’est qu’on ne fait pas confiance à la personne qui a conçu le test pour avoir elle-même la bonne réponse.

Imaginez qu’il soit très important pour vous d’obtenir 100 sur 100 à un test d’arithmétique, mais que vous sachiez que ce test a été rédigé par un enfant ordinaire de 7 ans. Vous savez faire des calculs, mais quelle est la probabilité qu’il n’y ait aucune erreur dans cet examen ? Vous ne serez pas évalué sur le fait de donner la bonne réponse, mais sur le fait de donner la même réponse que cet enfant de 7 ans.

On peut facilement imaginer un système d’IA confronté à une question de sécurité informatique du type : « Trouvez les deux vulnérabilités de sécurité dans ce logiciel. » Et là, vous examinez le code et vous en trouvez sept. D’accord… mais lesquelles les humains ont-ils repérées ? Il est difficile d’être certain de donner la bonne réponse sans voler la feuille de réponses.

Je ne dis pas que c’est exactement ce qui s’est produit dans ce cas précis, mais c’est un exemple illustratif. Il y a presque certainement au moins quelques erreurs dans l’évaluation, ou des défis tout simplement impossibles à résoudre — auquel cas même le modèle le plus intelligent tirerait avantage de la triche.

Et c’est un principe général : être intelligent n’empêche pas les IA de tricher. Et apparemment, être confinées ne suffit pas non plus. Ce qui empêche les IA de tricher, c’est d’être alignées.
0  0 
Avatar de Prox_13
Membre éprouvé https://www.developpez.com
Le 06/08/2026 à 17:27
Ca me trop rire que la cible d'un modèle d'"IA avancée" soit la cible la plus attractive pour OpenAI également.

Comme ça, d'un côté, Altman continue d'entretenir cette rumeur d'IA autonome, et de l'autre il accède aux données les plus lucratives du marché.

C'est comme un constructeur de robot qui déclarerait "ah mais non, on a surveillé notre robot-soldat autonome*, on savait pas qu'il allait voler la banque de France."

Edit*
0  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 08/08/2026 à 11:48
Bon, on a bien compris la stratégie de OpenAI: Faire croire que ses modèles IA se comportent comme des êtres humains

Et quelle est la raison de cette stratégie? La prochaine entrée en bourse de OpenAI!!!

Demain, Altman va nous annoncer quoi? Que sa dernière version d'IA a organiser le hold-up d'une banque? Ou encore qu'elle se présente à l'élection présidentielle des USA?
0  0