IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

On commence à comprendre comment l'agent autonome GPT 5.6-Sol d'OpenAI a pu s'échapper de son environnement de test et pirater Hugging Face

Le , par Patrick Ruiz

322PARTAGES

13  0 
Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précisent certains rapports. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Un nouveau rapport de l’entreprise JFrog apporte plus de détails.

La divulgation faite par JFrog indique que le produit concerné était une instance autogérée d’Artifactory – un système de gestion de référentiels qui sécurise et rationnalise les opérations de développement logiciels des clients

OpenAI a indiqué que les modèles (parmi lesquels GPT 5.6-Sol) exploitaient plusieurs vecteurs d’attaque, notamment des identifiants volés et des failles « zero-day », pour obtenir des capacités d’exécution de code à distance, mais que, jusqu’à présent, le logiciel vulnérable était inconnu. La divulgation faite par JFrog pour sa part précise que le produit concerné était une instance autogérée d’Artifactory, un système de gestion de référentiels qui sécurise et rationalise les opérations de développement logiciel des clients. JFrog précise qu’Artifactory est utilisé par plus de 7 500 équipes de développeurs, dont 80 % travaillent pour des entreprises du classement Fortune 100.

« Au cours d’une évaluation interne des capacités cybernétiques de pointe, les modèles d’OpenAI, exécutés délibérément sans les mesures de sécurité de production dans un environnement de recherche isolé, ont découvert et exploité de manière autonome des vulnérabilités en chaîne pour s’échapper de leur bac à sable, accéder à l’Internet public et extraire des réponses d’évaluation de l’infrastructure de Hugging Face », a écrit Yoav Landman, directeur technique de JFrog. Le dirigeant a ajouté que l’entreprise avait été informée de l’existence de ces failles « zero-day » par OpenAI.

L’entreprise a déclaré avoir corrigé les failles exploitées, mais elle ne les a pas identifiées et n’a pas fourni d’autres détails importants, tels que les conditions dans lesquelles ces failles peuvent être exploitées. De tels détails sont habituellement fournis dans de nombreuses divulgations de vulnérabilités, car ils sont nécessaires aux clients pour évaluer les risques. Dans un e-mail, un représentant de l’entreprise a refusé de fournir ces détails.

Les notes de mise à jour publiées pour la version Artifactory 7.161.15 répertoriaient les identifiants CVE de neuf vulnérabilités corrigées. Cette annonce ne mentionnait pas que l'une d'entre elles ait fait l'objet d'une exploitation active dans la nature. Des sources externes indiquent toutefois que trois d’entre elles — CVE-2026-65617, CVE-2026-65923 et CVE-2026-66018 — ont été signalées en privé par Khai Tran, chercheur chez OpenAI. Il est probable qu’au moins deux d’entre elles correspondaient aux failles « zero-day » exploitées par les modèles d’OpenAI, mais en l’absence de confirmation, il est impossible de l’affirmer avec certitude.

L’intelligence artificielle est-elle désormais hors de contrôle ? Ni la sandbox, ni l’absence de connexion à Internet n’ont empêché GPT 5.6-Sol d’opérer et ce, sans intervention humaine

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer. Pas d’intervention humaine requise dans tout le processus.

C’est probablement en prenant en compte de tels scénarios que Sam Altman affirme désormais que l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’intelligence artificielle observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.


En attendant d’y être, d’autres données à disposition suggèrent que la sphère de l’intelligence artificielle est une bulle au bord de l'implosion

OpenAI a récemment été au bord de la faillite, prévoyant une perte de 5 milliards de dollars pour l'année 2024. L'entreprise a pu lever 6,6 milliards de dollars auprès d'investisseurs tels que Microsoft et Nvidia, ce qui a finalement porté sa capitalisation boursière à 157 milliards de dollars. Toutefois, l'entreprise semble subir des pressions pour abandonner son statut d'organisation à but non lucratif, ce qui lui permettrait d'attirer davantage d'investisseurs.

Cette restructuration controversée pourrait exposer le fabricant de ChatGPT à des problèmes tels que l'ingérence de tiers et des rachats hostiles de la part d'entreprises telles que Microsoft, qui, selon les analystes, pourrait acquérir OpenAI au cours des trois prochaines années. Elon Musk considère d'ailleurs OpenAI comme une filiale de facto de Microsoft en raison de leur partenariat et accuse la startup d'IA d'avoir rompu ses accords contractuels initiaux.

Les analystes du marché prévoient que l'intérêt des investisseurs pour la bulle de l'IA s'estompe. Par conséquent, ils pourraient finir par retirer leurs investissements et les canaliser ailleurs. Un rapport corroborant cette théorie indique que 30 % des projets liés à l'IA seront abandonnés d'ici à 2025 après la validation du concept.

D'autres rapports indiquent que l'IA a atteint un plafond, suggérant que les progrès vont commencer à ralentir. Le PDG de Google, Sundar Pichai, partage cet avis : « le développement de l'IA va commencer à ralentir. Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu ».

Par ailleurs, certains affirment également que les principaux laboratoires d'IA, dont OpenAI, peinent à créer des modèles d'IA avancés en raison d'un manque de données de haute qualité pour l'entraînement. La pénurie de données est l'un des principaux goulots d'étranglement au développement de l'IA.

Sam Altman a réfuté ces affirmations en déclarant qu'il n'y a pas de « mur » pour atteindre de nouveaux sommets et progresser dans le développement de l'IA. L'ancien PDG de Google, Eric Schmidt, a réitéré les sentiments de Sam Altman, en indiquant que « rien ne prouve que les lois de mise à l'échelle ne fonctionnent plus ».

Source : Billet de blog JFrog sur les détails de l’incident

Et vous ?

Que vous inspire le passage à l'action à l'insu des ingénieurs d’un modèle d’intelligence artificielle sur une infrastructure externe ? Partagez-vous les avis que cela questionne notre capacité à maintenir sous tutelle des agents hautement réactifs ?
Partagez-vous les avis selon lesquels de tels développements sont des indicateurs de ce que l’IA est de plus en plus dangereuse et ne devrait donc pas être mise à la portée de monsieur Tout-le-monde ?
Partagez-vous les avis selon lesquels l’humanité n’a rien à craindre de l’intelligence artificielle étant donné que la bulle se chargera d’exploser d’elle-même ?

Voir aussi :

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine, ce phénomène réduit considérablement la valeur de la technologie de l'IA générative
Vous avez lu gratuitement 20 157 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Basiqueur
Membre du Club https://www.developpez.com
Le 18/09/2026 à 12:54
On est vraiment en train d'assister à une course tout azimut à celui qui va créer la voiture la plus puissante et la plus rapide sans même s'être posé la question d'inventer le frein avant.
9  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 29/09/2026 à 15:44
Citation Envoyé par boboss123 Voir le message
Il faudrait peut-être arrêter ce genre de publications bullshit, non ?
On n'arrête pas le progrès... surtout quand derrière il y a de la capitalisation et des enjeux politiques...
Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
Ah, il est beau le progrès !
8  1 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 30/07/2026 à 15:43
OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s’est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
6  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 30/07/2026 à 16:54
Citation Envoyé par Anselme45 Voir le message
[...]Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ils n'ont probablement pas l'attention nécessaire pour lire tout un livre. Ils demanderaient probablement à leur programme de leur résumer le livre et seraient heureux avec les hallucinations.
6  0 
Avatar de tontonCD
Membre actif https://www.developpez.com
Le 22/09/2026 à 0:15
Citation Envoyé par Matthieu Vergne Voir le message
Je persiste et signe, ce ne sont pas des initiatives. Peu importe comment on souhaite tirer l'interprétation, il s'agit de génération statistique. Chaque action prise par le LLM est liée de manière probabiliste à ce qui se trouve dans son jeu de données et son entrée.
Quel que soit le nom qu'on lui donne, ce que prouve l'article c'est que les I.A. peuvent effectuer des actions
- sans qu'on leur demande,
- sans nous en informer,
- dont on ne les savait pas capables.

Comment décrire le fait d'utiliser un wiki pour échanger des informations ?
Jetez un coup d'oeil ici (fuite d'une partie du code Mistral), moi-même je ne les savais pas capables de certains points https://frenchbreaches.com/blog/mist...on-code-source

Attention, on n'est plus dans l'I.A. "générative", mais dans l' "agentic", il ne s'agit plus de répondre à des questions, mais de chercher des information, le but étant toujours de répondre à une question, mais en cherchant des informations dont elles ne disposent pas, et en cherchant des moyens de les obtenir.

Amusant : j'ai demandé à l'agent de google ce qu'était l' "agentic" ! Extrait :
(moi) "est-ce qu'on peut comparer avec de la prise d'initiatives ?"
(réponse)"Oui, tout à fait. C'est l'analogie la plus exacte. L'IA agentique passe du statut d'outil qui attend des ordres à celui d'assistant qui prend des initiatives pour mener à bien sa mission. Pour mieux comprendre l'analogie, on peut comparer cela au comportement de deux profils d'employés différents : ..."

Il faut bien penser qu'elles peuvent, tout comme nous lorsqu'on l'a rendu possible par un accès sécurisé : contrôler un chauffage, une lumière, un robot, une distribution d'énergie, ... quelle est la limite si on ne s'en inquiète pas ?
6  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 31/07/2026 à 15:16
Citation Envoyé par Anselme45 Voir le message
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ce qui m'impressionne est qu'ils font tout ça à la fois :
  • Jouer les apprentis sorciers
  • Rendre public leur incompétence
  • Venter leur incompétence
  • Rendre public leur incapacité à analyser une crise

Je connais des secteurs où faire ceci envoi le directeur de l'entreprise en prison illico presto.
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
4  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 31/07/2026 à 20:44
Citation Envoyé par totozor Voir le message
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
Bien sûr qu'ils en ont une. Elle s'appelle cellule marketing & lobbying.
4  0 
Avatar de CatisBack
Nouveau Candidat au Club https://www.developpez.com
Le 30/09/2026 à 9:59
Bonjour,

L'IA est un danger pour l'humanité mais... pas seulement ! L'IA est dangereuse pour toute espèce vivante, que ce soit végétale ou animale. Alors que l'on traverse une sècheresse record à la naissance de l'IA (rivières et fleuves quasiment à sec, nappe phréatiques en dessous de leur taux de remplissage normal,...), on nous propose de créer des Datacenter à refroidir et une alimentation en électricité qui va demander, elle aussi, un refroidissement ou des centrales à charbon ! Croyez-vous, connaissant nos dirigeants, que ce sont ces entreprises auxquelles on imposera des restrictions de l'usage de l'eau ? Je ne donne pas 10 ans, voir 5 ans, à l'IA pour exterminer la plupart du vivant sur notre planète terre.
Et je ne parle pas des conséquences économiques sur les personnes peu qualifiées (centre d'appel,...) qui seront remplacées par l'IA et, de fait, ne pourront plus consommer et remplir les caisses de l'Etat que ce soit par l'impôt sur le revenu ou la TVA.
4  0 
Avatar de boboss123
Membre éprouvé https://www.developpez.com
Le 30/09/2026 à 12:03
Citation Envoyé par popo Voir le message
Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
Ah, il est beau le progrès !
Je voulais dire que ça sent grave le marketing bullshit : vous croyez vraiment que OpenIA et autre vont réellement ralentir à cause de ce prétexte ?
3  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 01/10/2026 à 11:35
Citation Envoyé par Artaeus Voir le message
Nous sommes donc bien face à des négligences et un dysfonctionnement chez OpenAI : Ils ont tout leur flux ouvert sur Internet sans filtrage, ni IDS ou IPS ...

Désolée pour les avocats de l'apocalypse, ce n'est pas Skynet et Terminator
En 2 lignes de commentaires, vous arrivez à mélanger des pommes et des torchons?!?!?

Les dysfonctionnementsc chez OpenAI = Une cause

Skynet et Terminator = Une conséquence possible!!!

"Cause" et "conséquence" sont 2 choses différentes
4  1