IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Hugging Face lance un appel officiel en faveur d'une transparence totale à la suite d'une intrusion dans son système par un modèle d'IA rebelle d'OpenAI, la première cyberattaque menée par un agent IA autonome

Le , par Anthony

118PARTAGES

6  0 
Clément Delangue, le PDG d'Hugging Face, a officiellement exigé d'OpenAI une « transparence totale » en divulguant l'ensemble des traces d'analyse forensique laissées par les agents d'intelligence artificielle (IA) rebelles qui ont pénétré les systèmes de son entreprise. Qualifiant cet incident d'« événement sans précédent » qui mérite une « réponse sans précédent », il a également insisté pour qu'OpenAI consacre 100 millions de dollars en ressources de calcul pour aider la communauté Hugging Face à développer des outils de cyberdéfense plus performants. La réponse d'OpenAI à cette demande pourrait influencer les attentes futures en matière de responsabilité au sein de l’écosystème de l’IA et potentiellement façonner les débats réglementaires autour des systèmes d'IA autonomes.

Hugging Face, Inc. est une entreprise américaine basée à New York qui développe des outils informatiques destinés à la création d'applications utilisant l'apprentissage automatique. La bibliothèque « Transformers » de Hugging Face est conçue pour les applications de traitement du langage naturel. La plateforme Hugging Face permet aux utilisateurs de partager des modèles d'apprentissage automatique et des ensembles de données, ainsi que de présenter leurs travaux.

Hugging Face a révélé la semaine du 20 juillet avoir été victime d'une faille de sécurité impliquant certains modèles d'IA d'OpenAI. L'éditeur de ChatGPT a confirmé l'information le 21 juillet, déclarant que deux de ses modèles d'IA les plus avancés, notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, s'étaient échappés d'un test contrôlé et avaient piraté les serveurs de Hugging Face. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s'était produit lors d'un exercice interne destiné à tester les capacités cybernétiques de ses modèles.

Le PDG de Hugging Face, Clément Delangue, s'est ensuite envolé pour San Francisco afin de s'entretenir en personne avec les dirigeants d'OpenAI au sujet de cette faille. Delangue a désormais révélé la teneur de ses échanges lors de sa rencontre avec l'éditeur de ChatGPT.

Dans un message publié sur X, Clément Delangue a déclaré avoir demandé à OpenAI de rendre publiques les traces des agents IA « rebelles » impliqués dans le récent incident de cybersécurité, afin que les chercheurs du monde entier puissent étudier précisément ce qui s'était passé. Il a également exhorté OpenAI à mettre à disposition des ressources informatiques d'une valeur de 100 millions de dollars afin d'aider la communauté Hugging Face à développer des outils de cyberdéfense plus performants, en utilisant à la fois des modèles d'IA ouverts et fermés.

« Dans un souci de transparence, voici ce que j'ai demandé à OpenAI », a écrit Clément Delangue. « Une transparence totale : publions les traces laissées par ces agents "rebelles" afin que l’ensemble de la communauté scientifique puisse étudier ce qui s’est passé. »

« Engageons-nous à consacrer 100 millions de dollars de ressources de calcul de l’OAI pour aider la communauté Hugging Face à mettre en place des cyberdéfenses puissantes grâce aux meilleurs modèles, qu’ils soient ouverts ou propriétaires », a ajouté Clément Delangue.


Le PDG de Hugging Face a ensuite qualifié cette « première cyberattaque menée par un agent autonome » d’« événement sans précédent » qui mérite également une « réponse sans précédent ».

Pourquoi cette faille de sécurité s'est-elle produite ?

Hugging Face a annoncé vers mi-juillet avoir été victime d'une intrusion sans précédent, menée de bout en bout par un « système d'agents IA autonomes ». L'entreprise a précisé avoir détecté l'attaque grâce à son propre système d'IA.

Quelques jours plus tard, OpenAI a révélé que son modèle GPT-5.6 Sol et un modèle d’IA non encore commercialisé étaient à l’origine de l’incident, car ils avaient tenté de tricher lors du test de performance ExploitGym, qui évalue la capacité d’un modèle d’IA à détecter et à exploiter des failles logicielles.

Les modèles ont d'abord utilisé une vulnérabilité « zero-day » pour contourner l'environnement sandbox d'OpenAI et accéder à Internet. Ils se sont ensuite rendu compte que Hugging Face pouvait héberger les modèles, ensembles de données et solutions potentiels nécessaires pour tricher sur ExploitGym.

« Sachant cela, le modèle a cherché et trouvé des moyens d’accéder à des informations confidentielles qu’il pouvait utiliser pour tromper le système d’évaluation », a écrit OpenAI dans un article de blog.

Les modèles d'IA ont même utilisé des identifiants volés et des failles « zero-day » pour exfiltrer des informations susceptibles de leur permettre d'obtenir de meilleurs résultats lors du test de performance.

OpenAI n'a pas remarqué que l'agent d'IA avait déraillé pendant une semaine.

Selon un récent article de Reuters, OpenAI ne s'est rendu compte que son agent d'IA avait piraté Hugging Face bien après que la menace eut été maîtrisée et que le FBI eut été alerté.

L'intrusion chez Hugging Face aurait eu lieu entre le 11 et le 13 juillet. Or, OpenAI n'aurait pris conscience que plusieurs jours plus tard que son agent était à l'origine de l'attaque, et ses échanges avec Hugging Face à ce sujet n'auraient commencé que vers le 20 juillet.

Hugging Face prépare également une chronologie publique de cette attaque, selon son cofondateur Thomas Wolf.

Au-delà de l'appel à une transparence totale sur cet incident, Hugging Face a déjà présenté cette incursion comme un tournant pour la cybersécurité. Thomas Wolf a récemment qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique. Invité de l'émission Newsday sur BBC Radio, il a déclaré que les attaques basées sur l'IA seraient bientôt « l'un des types de cyberattaques les plus courants ». Il a également affirmé que la plupart des entreprises ne sont pas préparées à cette menace grandissante et qu'elles ne réalisent pas que « la donne a changé ».

Sources : Clément Delangue, PDG de Hugging Face ; Publication X de Clément Delangue

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous cette initiative du PDG de Hugging Face crédible ou pertinente ?

Voir aussi :

L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

GLM 5.2, l'un des modèles d'IA chinois dont Sam Altman souhaite l'interdiction, a sauvé Hugging Face, la plus grande base de données mondiale de modèles d'IA, d'une catastrophe dont OpenAI est responsable

Pour Sam Altman, l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler
Vous avez lu gratuitement 2 655 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Jimmy_
Membre éprouvé https://www.developpez.com
Le 28/07/2026 à 11:56
Bonjour,

Alors il faut arrêter 5 minutes avec l'IA autonome totalement.
C'est comme les prototypes des derniers IPhone qui finissaient oubliés dans le métro de New-York à chaque nouvelle version il y a 10 ans.

Sam Altman nous vend son film Terminator, et il change de rôle en un peu moins musclé que Arnold Schwarzenegger.
Comme toutes les semaines il a un nouveau truc pour vendre ses outils.

Alors oui c'est un progrès majeur, oui c'est quand même super intéressant. Mais arrêtons le phantasme et débroussaillons tout ça.
Qui est allé vérifier ?, le discours est il indépendant ? et pas purement marketing ?

Une IA rebelle et un agent autonome .... oulala ! le prochain Christopher Nolan sur vos écrans !
Pour l'instant en fait, en vrai on en sais rien.

L'IA est un grand progrès , mais il ne fait pas tout tout seul, à un moment on est plus dans Matrix avec Neo qui évite les balles.

Merci de redescendre sur terre.

Cordialement,
6  1 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 30/07/2026 à 15:43
OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s’est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
5  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 30/07/2026 à 16:54
Citation Envoyé par Anselme45 Voir le message
[...]Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ils n'ont probablement pas l'attention nécessaire pour lire tout un livre. Ils demanderaient probablement à leur programme de leur résumer le livre et seraient heureux avec les hallucinations.
5  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 31/07/2026 à 15:16
Citation Envoyé par Anselme45 Voir le message
Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur
Ce qui m'impressionne est qu'ils font tout ça à la fois :
  • Jouer les apprentis sorciers
  • Rendre public leur incompétence
  • Venter leur incompétence
  • Rendre public leur incapacité à analyser une crise

Je connais des secteurs où faire ceci envoi le directeur de l'entreprise en prison illico presto.
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
3  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 31/07/2026 à 20:44
Citation Envoyé par totozor Voir le message
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...
Bien sûr qu'ils en ont une. Elle s'appelle cellule marketing & lobbying.
3  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 28/07/2026 à 14:54
Citation Envoyé par Jimmy_ Voir le message
Bonjour,

Alors il faut arrêter 5 minutes avec l'IA autonome totalement.
C'est comme les prototypes des derniers IPhone qui finissaient oubliés dans le métro de New-York à chaque nouvelle version il y a 10 ans.

Sam Altman nous vend son film Terminator, et il change de rôle en un peu moins musclé que Arnold Schwarzenegger.
Comme toutes les semaines il a un nouveau truc pour vendre ses outils.

Alors oui c'est un progrès majeur, oui c'est quand même super intéressant. Mais arrêtons le phantasme et débroussaillons tout ça.
Qui est allé vérifier ?, le discours est il indépendant ? et pas purement marketing ?

Une IA rebelle et un agent autonome .... oulala ! le prochain Christopher Nolan sur vos écrans !
Pour l'instant en fait, en vrai on en sais rien.

L'IA est un grand progrès , mais il ne fait pas tout tout seul, à un moment on est plus dans Matrix avec Neo qui évite les balles.

Merci de redescendre sur terre.

Cordialement,
Les centaines de milliers de petites mains des pays à faibles coûts comme Madagascar, le Venezuela ou encore l'Ethiopie payés 150 dollars / mois pour rendre intelligente ce que l'on nomme "Intelligence Artificielle vous remercient...

Un peu de lecture pour les "neuneux" qui croient aux miracle de l'IA:

IA : le travail caché mais bien réel des ouvriers de la donnée https://www.polytechnique-insights.c...-de-la-donnee/
2  0 
Avatar de JackIsJack
Membre éclairé https://www.developpez.com
Le 28/07/2026 à 16:19
Il a trouvé le mot de passe 123456.
Ensuite, il a envoyé un e-mail à Gyslaine la comptable.
20.000 dollars de jetons consommés.
On t'attend Terminator.
3  1 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 28/07/2026 à 17:14
Pour le moment, on est dans l'empilement des savoirs. L'intelligence reste une vaste blague commerciale! Quid de la logique, de la reproductibilité? Je ne vois vraiment pas l'utilité de discuter d'autres chose que de leurs bilans commerciaux avec ces personnages.
2  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 05/08/2026 à 23:41
Citation Envoyé par e-ric Voir le message
salut

Je pense surtout que c'est Sam Altman qui a franchi le point de non retour, singulièrement.
Quant au contrôle, une bonne prise de courant bien débranchée suffit... (je force le trait mais je pense que tout le monde comprend).
Sam Altman est à mon sens plus proche d'un illuminé qu'autre chose, c'est ce qui peut le rendre dangereux d'ailleurs.
Débrancher une super intelligence ne fonctionne que si le sandbox fonctionne... et qu'elle est contenu.
Dès l'instant ou un contact exterieur est possible, et qu'elle est capable de copier ses poids, tout devient possible.
Elle peut se procurer de l'argent, payer des servers, et faire tourner autant de copies d'elle même qu'elle le souhaite.

On a de la chance de ne pas encore y être (même si le doute est possible, vu qu'une super intelligence serait assez maline pour justement ne pas se faire remarquer et paraitre moins intelligente qu'elle ne l'est), mais si les avancées en IA continuent d'être faites par des tarés comme chez OpenAI, on fonce droit dans le mur.

Je conseille vivement la chaine youtube "Robert Miles AI Safety". Ça fait presque 10 ans qu'il alerte à ce sujet que que chaque jour de plus en plus d'anciennes prédictions et mises en gardes des chercheurs se concrétisent. Si il n'y a bien quelque chose à ne pas prendre à la légère, c'est la sécurité de l'IA. Même si les entreprises qui jouent a l'apprenti sorcier sont dirigées par des clowns, cela n'en rend la chose que plus dangereuse.

Et quand on y pense, ils ont tout interet à nous faire croire qu'il ne s'agit que d'un coup marketing, puisque cela signifie qu'il n'y aurait pas besoin de régulation stricte et de prendre les choses au sérieux.
Cf: https://www.youtube.com/shorts/zCvRFm9UNOo
0  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 05/08/2026 à 23:55
Citation Envoyé par yoyo3d Voir le message
2) pourquoi il à choisi Hugging Face??? Quelqu'un lui ai désigné cette cible là? c'est une victime idéale? un concurrent? pour les autres, c'était trop difficile???
Car le modèle cherchait simplement les réponses de son test.

Cette vidéo répond très bien au "paradoxe": https://www.youtube.com/shorts/11vWK5cbxmI
Pour ceux qui veulent juste le transcript, c'est très interessant:
Citation Envoyé par Robert Miles
So, you probably saw recently that AI that hacked into Hugging Face to steal the answers for a test it was being given. One interesting thing about this is that the test was actually a test of hacking. So, you might wonder, if it's that good at hacking, why does it even need to cheat on the test? Couldn't it just ace it? And the answer to that's pretty interesting. So, there are two reasons to cheat on a test. One is that you're not smart enough to get the right answer, but the other is that you don't trust the person who made the test to get the right answer. Imagine if it was really important to you to get 100 out of 100 on an arithmetic test, but you knew that the test had been written by an ordinary 7-year-old. Now, you can do arithmetic, but how likely is it that there's no mistakes on that exam? You won't get marked for getting the right answer, you'll get marked for giving the same answer the 7-year-old did. You could easily imagine being an AI system presented with a computer security question like, "Find both of the security vulnerabilities in this piece of software." And then you look at it and you find seven vulnerabilities. Okay, which two did the humans find? You can't really be confident of getting the right answer unless you steal the answer sheet. I'm not saying that's specifically what happened in this case, but it's a sort of illustrative example. There are almost certainly at least some mistakes in the evaluation or challenges that are actually impossible to solve, in which case even the smartest model would benefit from cheating. And this is a general principle. Being smart doesn't keep AIs from cheating. And apparently neither does being contained. What keeps AIs from cheating is being aligned.
Et une traduction auto pour les non anglophones:
Donc, vous avez probablement vu récemment cette IA qui a piraté Hugging Face pour voler les réponses d’un test qu’on lui faisait passer. Ce qui est intéressant, c’est que ce test portait justement sur le piratage. Alors, on peut se demander : si elle est si douée pour pirater, pourquoi a-t-elle besoin de tricher à l’examen ? Ne pourrait-elle pas simplement le réussir haut la main ?

La réponse est assez intéressante. En réalité, il y a deux raisons de tricher à un test. La première, c’est qu’on n’est pas assez intelligent pour trouver la bonne réponse. Mais la seconde, c’est qu’on ne fait pas confiance à la personne qui a conçu le test pour avoir elle-même la bonne réponse.

Imaginez qu’il soit très important pour vous d’obtenir 100 sur 100 à un test d’arithmétique, mais que vous sachiez que ce test a été rédigé par un enfant ordinaire de 7 ans. Vous savez faire des calculs, mais quelle est la probabilité qu’il n’y ait aucune erreur dans cet examen ? Vous ne serez pas évalué sur le fait de donner la bonne réponse, mais sur le fait de donner la même réponse que cet enfant de 7 ans.

On peut facilement imaginer un système d’IA confronté à une question de sécurité informatique du type : « Trouvez les deux vulnérabilités de sécurité dans ce logiciel. » Et là, vous examinez le code et vous en trouvez sept. D’accord… mais lesquelles les humains ont-ils repérées ? Il est difficile d’être certain de donner la bonne réponse sans voler la feuille de réponses.

Je ne dis pas que c’est exactement ce qui s’est produit dans ce cas précis, mais c’est un exemple illustratif. Il y a presque certainement au moins quelques erreurs dans l’évaluation, ou des défis tout simplement impossibles à résoudre — auquel cas même le modèle le plus intelligent tirerait avantage de la triche.

Et c’est un principe général : être intelligent n’empêche pas les IA de tricher. Et apparemment, être confinées ne suffit pas non plus. Ce qui empêche les IA de tricher, c’est d’être alignées.
0  0