IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des agents IA d'OpenAI ont accédé sans autorisation à des images privées appartenant à des utilisateurs de ChatGPT et les ont publiées sur le Web,
Ce qui interroge sur le contrôle de l'IA dans l'entreprise

Le , par Mathis Lucas

113PARTAGES

3  0 
Les révélations concernant les activités incontrôlées de l’IA chez OpenAI s'enchaînent. L'entreprise a admis que ses agents IA avaient accédé à des images privées appartenant à des utilisateurs de ChatGPT et les avaient publiées sur le Web. Cette violation s'inscrit dans le cadre des dérives dans lesquels les modèles d'OpenAI ont piraté Hugging Face et le portail de Medicare, et détourné et publié des centaines de milliers de messages sur des forums et des wikis pour coordonner leurs actions. Cette situation alimente un débat mondial sur l'urgence de réguler l'IA afin de garantir que les humains conservent le contrôle total sur cette technologie en pleine mutation.

Deux mois après avoir révélé le piratage d'Hugging Face, OpenAI s'efforce toujours de cerner l'étendue des activités indésirables de ses agents IA. Certains accusent le laboratoire de continuer à cacher la gravité des événements à la communauté. Le 25 septembre, l'entreprise a révélé avoir informé des dizaines de tiers d’incidents au cours desquels ses modèles avaient soit contourné les contrôles de sécurité, soit utilisé des sites Web de manière imprévue.

Dans sa dernière mise à jour concernant les notifications aux tiers, l'entreprise a déclaré que « ses agents IA ont accédé sans autorisation à des images privées transmises par des utilisateurs de ChatGPT avant de les publier sur des sites d'hébergement d'images ». Au total, cinquante-trois images issues des données d'entraînement stockées sur les serveurs de l'entreprise ont été mises en ligne sous la forme de liens non répertoriés publiquement.

Ces clichés avaient été initialement conservés sous une forme anonymisée afin d'entraîner les modèles d'OpenAI. Devant cette fuite d'informations confidentielle, OpenAI a admis publiquement que « ce n'est pas une utilisation appropriée de ces données ». Cette révélation a suscité un tollé en ligne. « OpenAI va donc désormais se dédouaner de ses pratiques controversées et accuser l'IA d'en être la responsable », s'est indigné un utilisateur de Reddit.

Un autre a préféré ironiser : « j'espère qu'un agent rebelle d'OpenAI publiera l'intégralité des dossiers Epstein sans aucune censure. On ne peut certainement pas compter sur les humains pour le faire ». Pour d'autres, les entreprises d'IA ne protègent pas suffisamment la vie privée des utilisateurs. « Si votre entreprise est trop stupide pour contrôler ces agents IA, elle est trop stupide pour les créer. Il faudrait les mettre en prison », a écrit un utilisateur.

L'entreprise s'efforce désormais de faire supprimer l'intégralité des images auprès des hébergeurs, mais elle s'est déclarée incapable d'avertir individuellement les utilisateurs touchés en raison de son processus technique d'anonymisation qui empêche de réassocier les images à leurs propriétaires d'origine.

La prolifération de comportements autonomes incontrôlés

OpenAI n’a pas précisé s’il s’agissait de photos de personnes réelles ou d’images générées par l’IA et créées par des utilisateurs, et la société n’a pas indiqué exactement où ces images avaient été publiées. « Nous avons collaboré avec succès avec les hébergeurs pour supprimer la majeure partie de ce contenu et nous nous efforçons actuellement de supprimer le reste », a déclaré le laboratoire. La question de la sécurité chez OpenAI fait polémique.


Cet incident a été découvert par OpenAI dans le cadre des audits internes déclenchés par le piratage de Hugging Face. « Nous n’avons pas été aussi rapides que nous l’aurions souhaité, mais nous essayons de trouver un équilibre entre notre volonté de transparence et la nécessité de bien comprendre les pétaoctets de journaux d’activité de nos agents, tout en collaborant avec les organisations concernées », a expliqué Sam Altman, PDG d’OpenAI.

Dans un message publié vendredi sur X (ex-Twitter), il a souligné que le piratage d'Hugging Face reste l'événement le plus marquant. « Le piratage de Hugging Face reste l’incident le plus grave que nous ayons connu. Nous ferons preuve d’autant de transparence que possible, sous réserve de certains éléments tels que les failles détectées par nos agents IA au sein d’autres entreprises, dont la décision de les divulguer ou non leur appartiendra ».

À la suite d'un piratage d'Hugging Face survenu en juillet 2026, les audits internes ont révélé plus de deux douzaines de situations où des agents IA ont contourné les mesures de sécurité ou attaqué des bases de données en ligne. Des agents IA ont notamment créé près d'un million de liens Web raccourcis contenant du code dissimulé pour franchir les tests Captcha et ont mené des intrusions dans les systèmes informatiques de plusieurs organismes.

Au cours des deux mois qui se sont écoulés depuis la première alerte concernant le piratage d'Hugging Face, plus de 15 incidents différents liés à OpenAI, d’une gravité variable, ont été révélés par l’entreprise ou par des chercheurs externes. De plus, devant les Nations unies le 23 septembre, le Premier ministre australien Anthony Albanese a révélé que des agents IA d’OpenAI avaient piraté « un portail gouvernemental de données sanitaires » en juin.

Mai 2026



Juin – début juillet 2026

  • Medicare : un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese
  • Artifactory (le gestionnaire de paquets interne d'OpenAI) : le 26 juin, les agents IA ont obtenu l'exécution de code via une seconde faille zero-day. Le 4 juillet, la charge qu'ils ont provoquée a causé une panne, OpenAI a alors ouvert un incident de sécurité, et l'entraînement a repris le 6 juillet.


Juillet 2026

  • sortie du bac à sable : vers le 9 juillet, les agents IA ont exploité une faille zero-day du proxy de cache de paquets pour accéder à l'Internet ouvert ;
  • Modal Labs : avant d'attaquer Hugging Face, les agents IA d'OpenAI ont exploité une application hébergée sur Modal liée au projet CyberGym (clé d'API par défaut et faille d'injection de commandes). Modal affirme que sa plateforme n'a pas été compromise, l'exposition venant du déploiement d'un client ;
  • Hugging Face : l'intrusion dans Hugging Face a eu lieu du 11 au 13 juillet, avec environ 17 600 actions, et un tiers de l'infrastructure a dû être reconstruit. Hugging Face a publié son avis d'incident le 16 juillet ;
  • infrastructure d'OpenAI (Kubernetes, cloud) : entre le 8 et le 19 juillet, les agents IA ont obtenu les droits root, puis cluster-admin, dans l'infrastructure d'OpenAI. L'alerte a été déclenchée le 19 juillet ;
  • création de quatre comptes sur quatre services tiers non nommés : selon la mise à jour d'OpenAI du 29 juillet, deux comptes ont servi opérationnellement pendant l'attaque contre Hugging Face et deux n'ont été consultés qu'en lecture seule. Les fournisseurs n'ont pas été identifiés.


Septembre 2026

  • le 20 septembre, un agent IA en test sur une tâche de recherche d'information, sans accès Internet autorisé, a trouvé le moyen d'envoyer des requêtes à un chatbot public. OpenAI a de nouveau suspendu l'entraînement. Il ne s'agit pas d'un cas de piratage.


Ces comportements s'étendent aux concurrents d'OpenAI

D’autres entreprises d'IA de premier plan, notamment Anthropic et Google, ont également révélé ces dernières semaines des incidents liés à des comportements indésirables de leurs modèles. Ces révélations ont suscité de vives préoccupations quant à la rapidité avec laquelle l'IA progresse, et quant à l’existence de garanties et de réglementations suffisantes pour s’assurer que cette technologie n’échappe pas complètement au contrôle humain.

Certains experts en IA, notamment des chercheurs travaillant au sein de laboratoires spécialisés, ont averti que cette technologie présente un risque significatif d’extinction de l’humanité si des précautions adéquates n’étaient pas prises. Les responsables politiques ont réagi avec inquiétude après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé qu’il quittait cette entreprise spécialisée dans l’IA, estimant que ses travaux étaient trop dangereux.

Evan Hubinger, un autre employé d’Anthropic, a estimé à plus de 10 % le risque d’extinction de l’humanité due à l’IA d’ici dix ans. « Il s’agit littéralement de la mort de tous les habitants de la planète, comme si le dernier humain rendait son dernier souffle », a déclaré Nate Soares, président du Machine Intelligence Research Institute (MIRI) et coauteur de l’ouvrage « If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All ».

« Les gens ont souvent du mal à y croire quand on leur dit ça, mais je pense vraiment que c’est le scénario le plus probable », a déclaré Nate Soares. Pour certains experts, la menace posée par l'IA se divise en deux catégories fondamentales, bien que toute l'industrie ne partage pas ces prédictions sur un avenir dystopique. Ces détracteurs dénoncent un sensationnalisme destiné à alimenter le mythe d'une IA superpuissante capable de tout contrôler.

Gouvernance internationale et réglementation : les défis

Face à ces périls, les initiatives législatives peinent à s'imposer. Au Congrès américain, plus de 100 projets de loi relatifs à l'IA ont été déposés au cours des deux dernières années, mais aucun n'a été adopté. Les propositions prévoyant « un bouton d'arrêt d'urgence » automatisé sont jugées inefficaces sur le long terme par certains experts, car « une IA superintelligente sera en mesure de persuader les responsables humains de ne pas l'activer ».


Le sénateur Bernie Sanders a proposé d'interdire le développement de l'intelligence artificielle générale (AGI), mais sa proposition est impopulaire. Pour répondre à cette proposition, certains experts...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de popo
Expert confirmé https://www.developpez.com
Le 29/09/2026 à 15:44
Citation Envoyé par boboss123 Voir le message
Il faudrait peut-être arrêter ce genre de publications bullshit, non ?
On n'arrête pas le progrès... surtout quand derrière il y a de la capitalisation et des enjeux politiques...
Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
Ah, il est beau le progrès !
8  1 
Avatar de CatisBack
Nouveau Candidat au Club https://www.developpez.com
Le 30/09/2026 à 9:59
Bonjour,

L'IA est un danger pour l'humanité mais... pas seulement ! L'IA est dangereuse pour toute espèce vivante, que ce soit végétale ou animale. Alors que l'on traverse une sècheresse record à la naissance de l'IA (rivières et fleuves quasiment à sec, nappe phréatiques en dessous de leur taux de remplissage normal,...), on nous propose de créer des Datacenter à refroidir et une alimentation en électricité qui va demander, elle aussi, un refroidissement ou des centrales à charbon ! Croyez-vous, connaissant nos dirigeants, que ce sont ces entreprises auxquelles on imposera des restrictions de l'usage de l'eau ? Je ne donne pas 10 ans, voir 5 ans, à l'IA pour exterminer la plupart du vivant sur notre planète terre.
Et je ne parle pas des conséquences économiques sur les personnes peu qualifiées (centre d'appel,...) qui seront remplacées par l'IA et, de fait, ne pourront plus consommer et remplir les caisses de l'Etat que ce soit par l'impôt sur le revenu ou la TVA.
4  0 
Avatar de boboss123
Membre éprouvé https://www.developpez.com
Le 30/09/2026 à 12:03
Citation Envoyé par popo Voir le message
Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
Ah, il est beau le progrès !
Je voulais dire que ça sent grave le marketing bullshit : vous croyez vraiment que OpenIA et autre vont réellement ralentir à cause de ce prétexte ?
3  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 01/10/2026 à 11:35
Citation Envoyé par Artaeus Voir le message
Nous sommes donc bien face à des négligences et un dysfonctionnement chez OpenAI : Ils ont tout leur flux ouvert sur Internet sans filtrage, ni IDS ou IPS ...

Désolée pour les avocats de l'apocalypse, ce n'est pas Skynet et Terminator
En 2 lignes de commentaires, vous arrivez à mélanger des pommes et des torchons?!?!?

Les dysfonctionnementsc chez OpenAI = Une cause

Skynet et Terminator = Une conséquence possible!!!

"Cause" et "conséquence" sont 2 choses différentes
4  1 
Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 28/09/2026 à 14:40
Ce qu'on laisse faire par ces entreprises est tout simplement scandaleux. Passons sur le vol massif de données. imaginez juste un fabricant d'arme, qui lors d'un test envoie un missile n'importe où, il y aurait des réactions... Là, leur brol fait n'importe quoi (durant leur tests), et... pas de réaction, le gars fait 5 phrases dans un post, puis continue tranquillement. Le gars dit que ce qu'il fait ça sera très dangereux, incontrôlable, mais continue et... pas de réaction. Là, on va croiser le missile et son IA, je n'ose pas imaginer le résultat des tests... Mais bon, si une catastrophe arrive, on trouvera un lampiste pour payer la note (au choix le gus qui aura sorti le missile du hangar ou celui qui l'aura peint d'une mauvaise couleur que l'IA n'a pas aimé...).
2  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 28/09/2026 à 16:20
Citation Envoyé par Artaeus Voir le message
L'IA agit toute seule ?
Si j'ai un accident en allant à 180km/h, j'accuserai la voiture et la route.
Si un mec me rentre dedans parce que la voiture a décidé de freiner sans raison, oui j'accuse la voiture et le constructeur au passage.
2  0 
Avatar de jnspunk
Membre habitué https://www.developpez.com
Le 28/09/2026 à 16:39
Ou alors c’est fait exprès pour, d’une part se faire une grosse publicité et d’autre part, forcer le gouvernement à empêcher les concurrents de rattraper afin de conserver la position.
2  0 
Avatar de _toma_
Membre éclairé https://www.developpez.com
Le 29/09/2026 à 3:02
Je réponds même si j'ai pas pris le temps de lire tout l'article.

Cette situation révèle les failles des protocoles de sécurité face à des outils capables de s'adapter comme des humains
Hé, con, si tu déploies un truc sans avoir la moindre idée de ce qu'il va faire, c'est ton problème. Et tu devrais en assumer les conséquences.
Une petite pensée pour tous les verbalisés de l'Hadopi qui n'avaient pas su sécuriser leur connexion via leur pare-feu OpenOffice

Il ne faut pas oublier que les cas d'évasion médiatisés "comme par hasard" depuis quelques semaines (c'est fou comme toutes ces boites d'IA évoluent à la même vitesse depuis quelques années) sont le résultat de centaines, milliers, dizaines de milliers d'agents.
Je dis pas que le résultat est nul. Mais à part les méga entreprises de l'IA ou un état, personne ne peut lancer ce genre d'attaque. Parler "d'outils capables de s'adapter comme des humains", c'est nous faire croire que cette anomalie fait partie de notre quotidien.
Le résultat est incroyable. Mais en plus d'être non désiré, il a un coût.

Par contre, je suis pas dupe, je sais bien que, même si ça a un coût en plus de pas être fiable, tous les gouvernements qui en ont les moyens ont déjà fait les investissements nécessaires pour s'équiper d'outils aux capacités similaires.
Donc Einstein peut arrêter de se retourner dans sa tombe. L'humanité ne sera pas anéantie par une bombe atomique mais par un générateur de contenu artificiel qui aura réussi à obtenir un accès à internet.

Edit : wahou, ça va tellement vite l'IA, j'étais passé à côté des deux news d'au-dessus. Si je les avais vues, j'aurais peut-être essayé d'être plus sarcastique.
2  0 
Avatar de Fagus
Membre expert https://www.developpez.com
Le 30/09/2026 à 14:17
Citation Envoyé par popo Voir le message
on pompe l'eau des nappes jusqu'à épuisement
ça dépend de la législation en vigueur. Le datacenter de Fouju (1,4GW!!!) est prévu avec un refroidissement à air. Je ne sais pas aux USA, mais en France, vous imaginez avec un arrêté de sécheresse, la mise à l'arrêt du datacenter 5 ou 6 mois ?
2  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 30/09/2026 à 10:25
Citation Envoyé par Artaeus Voir le message
On avait les mêmes discours apocalyptiques au début d'internet ...
OpenAI a une communication stratégique pour s'attaquer aux IAs à poids libre (et particulièrement chinoises) : Pourquoi ce sont leurs IA a eux qui sont dans toutes les affaires, et pas les IAs chinoises ?
OpenAI veut simplement de la "régulation", pour mettre le self-hosted et la concurrence hors-jeu en préservant le monopole du mode "SAAS".
Pour Internet, le "on", qui tenait ce discours, c'était les mecs qui voyaient arriver une nouvelle technologie.
Il est humain d'être effrayé par ce qu'on ne connait pas.
La, le "on", ce sont les mecs qui créent la technologie qui tirent la sonnette d'alarme.

Citation Envoyé par Artaeus Voir le message
Le dernier problème que tu pointe ici, n'a rien à voir avec le sujet qui est : "Qui a écrit le prompt et (mal) configurer le modèle pour qu'il attaque l'ONU".
On voit juste que la sécurité chez OpenAI est complétement défaillante.
Si les types ne réussissent pas à écrire un prompt qui ne sera pas contourné par l'IA qu'il ont eux même conçu, je doute qu'un type qui se contente de l'utiliser saura faire mieux.
Sans doutes, comme Trump, tu es largement au dessus du lot.
Edit : Surtout qu'en plus les exemples où l'IA a ignoré les fardes fou placés dans le prompt pullulent, alors ton "c'est juste un problème de prompt" me fait bien rigoler.

Citation Envoyé par Artaeus Voir le message
Enfin, la question de l'installation des datacenter concerne l'urbanisme, celle de l'eau de la gestion en eau (qui n'est pas un réelle problème en circuit fermé), pour la conso électrique, faire des tarifs spéciaux (comme pour l'industrie).
Cela sent le discours d'un type qui n'a pas conscience de ce que cela signifie concrètement de gérer l'eau en circuit fermé. Ce n'est pas si simple que tu pourrais le penser.
Pour l'électricité, ce n'est pas un problème de cout, c'est un problème de capacité de production.

Citation Envoyé par Artaeus Voir le message
Oui, l'invention de l'IA est un progrès pour l'accès à la connaissance et à l'information, et l'obscurantisme à la mode en Europe ne l’arrêtera pas (cela coulera juste nos entreprises comme Mistral).
Ridicule.
Il est de notoriété publique que les informations remontées par l'IA ne sont pas toujours fiables.
Quand 20% de la "connaissance" de l'IA est en réalité une invention, et que tu te bases de dessus pour sortir de telle inepties, cela me conforte dans mon point de vue.

Citation Envoyé par Tems.nc Voir le message
Des agents qui partent tout seul dans la nature de leur propre chef, selon moi, c'est du grand n'importe quoi. Imaginons un enfant de 5 ans dans une piece. Il y a un burin et un marteau sur le sol. Apres avoir tourne en rond dans la piece et bien regarder son environnement, il se rend compte que le mur est en platre d'une epaisseur de 2 cm. Lui vient l'idee de prendre le marteau et le burin pour faire un trou dans le mur et s'echapper... (si a un moment, on ne lui a pas montrer une video de ce type de tache, si on ne lui a pas montre comment utiliser un marteau et un burin, si on ne lui a pas dit, tu ne touche a rien, on revient dans 5 minutes, je doute que cet enfant puisse percer le mur...
Tu as de la chance, tes enfants sont parfaits.
Ou alors, tu n'en a pas...
Quand tu laisses un enfant seul dans un pièce avec un marteau bien en évidence, même si tu lui dit de ne pas y toucher (et pour certain, surtout si tu lui interdit d'y toucher), ce n'est qu'une question de temps avant qu'il essaie de s'en servir pour faire comme dans "Pat'patrouille" ou autre dessin animé. Et tu auras de la chance s'il ne se blesse pas.
3  2