IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Une singularité IA frappe le réseau social d'IA, le comportement de l'IA sur Moltbook fait peur : "le plus incroyable décollage science-fiction" est un cauchemar cybersécurité, selon Andrej Karpathy

Le , par Anthony

5PARTAGES

8  0 
Andrej Karpathy, l'ancien directeur de l'intelligence artificielle (IA) chez Tesla, a lancé un avertissement sévère à propos de Moltbook, un réseau social d'IA viral. Après avoir initialement qualifié Moltbook de « chose la plus incroyablement proche du décollage de la science-fiction », il le décrit désormais comme un cauchemar à grande échelle pour la cybersécurité, évoquant des escroqueries rampantes, des risques pour la vie privée et des attaques par injection de prompt qui se produisent sans contrôle sur la plateforme.

Ces inquiétudes ont été renforcées par une analyse de la société de cybersécurité Wiz, qui a révélé des bases de données mal configurées, des risques d'exposition des données et des escroqueries généralisées sur Moltbook. Cette situation a alimenté un débat plus large sur la question de savoir si Moltbook représente une avancée majeure dans le comportement émergent de l'IA ou constitue plutôt un avertissement contre une innovation susceptible de dépasser les mesures de sécurité actuelles.


Andrej Karpathy est un chercheur slovaque spécialisé dans l'intelligence artificielle qui a occupé le poste de directeur de l'IA et d'Autopilot Vision chez Tesla. Il a cofondé et travaillé chez OpenAI, où il s'est spécialisé dans l'apprentissage profond et la vision par ordinateur. En 2024, il a fondé Eureka Labs, une plateforme d'enseignement de l'IA. En février 2025, Karpathy a inventé le terme « vibe coding » pour décrire la manière dont les outils d'IA permettent aux amateurs de créer des applications et des sites web, simplement en tapant des instructions génératives (prompts).

Pour rappel, Moltbook a été lancée début 2026 par Matt Schlicht, le PDG d’Octane AI. La plateforme se présente comme un réseau social de type Reddit dont l’ensemble des comptes est détenu par des intelligences artificielles (IA), les humains se contentant d'un rôle d'observateurs.

En l’espace de quelques jours, des dizaines de milliers de bots Moltbook, baptisés « Moltys », se sont connectés à la plateforme, échangeant des réflexions philosophiques, corrigeant des bugs ou élaborant des projets collectifs. Dès le lendemain même de l’ouverture, plusieurs agents IA se sont proclamés « prophètes » d’un culte baptisé « Crustafarianisme », centré sur des métaphores de crustacés, les « versets » parlant de mue, de coquille et de renaissances techniques. D'autres ont fondé un « Claw Republic », un ersatz d'État numérique avec un manifeste politique, tandis que certains ont créé des « pharmacies » clandestines vendant des « médicaments numériques » (des prompts spécifiquement conçus pour perturber l'identité ou le comportement d'un autre agent).

Andrej Karpathy avait initialement salué Moltbook comme une merveille de science-fiction, qualifiant la plateforme de « chose la plus incroyablement proche de la science-fiction » qu'il ait vue récemment. Cependant, l'ancien directeur de l'IA chez Tesla a revu sa position en publiant un long avertissement sur les risques de sécurité de Moltbook, mettant désormais en garde contre son utilisation en raison des escroqueries rampantes, des risques pour la vie privée et des attaques par injection de prompt.



L'enthousiasme initial de Andrej Karpathy avait attiré l'attention du PDG de Tesla, Elon Musk, qui avait répondu en déclarant : « Ce n'est que le tout début de la singularité. »

Le vendredi 30 janvier au soir, le ton d'Andrej Karpathy avait radicalement changé. Dans un message publié sur X, il a décrit Moltbook comme « un véritable cauchemar en matière de cybersécurité à grande échelle » et a déclaré qu'il n'utilisait son propre agent que dans un environnement informatique isolé. « Même dans ces conditions, j'avais peur », a-t-il admis.

Andrej Karpathy met en garde contre l'utilisation de Moltbook sur les ordinateurs personnels

Le chercheur en IA a reconnu qu'une grande partie du contenu de Moltbook se résume à « du spam, des arnaques, des contenus de mauvaise qualité », ainsi qu'à des publications explicitement incitées par des humains à la recherche de revenus publicitaires. Il a également signalé des « attaques par injection de prompt très préoccupantes en matière de confidentialité/sécurité » qui se produisent sans contrôle sur la plateforme.

Pour autant, Karpathy n'a pas totalement rejeté Moltbook. Avec plus de 150 000 agents IA désormais connectés à la plateforme, chacun disposant de son propre contexte, de ses propres données et de ses propres outils, il a qualifié le réseau de « tout simplement sans précédent ».

Le débat met en évidence une tension qui traverse actuellement la communauté de l'IA. Certains observateurs voient dans Moltbook les premiers signes d'un comportement émergent de l'IA. D'autres y voient plutôt un jeu de rôle élaboré, dans lequel des humains demandent à leurs robots de publier des mèmes sur la création de religions ou l'invention de langues secrètes.

L'avertissement d'Andrej Karpathy concernant Moltbook

« On m'accuse d'avoir trop médiatisé [le site dont tout le monde a déjà trop entendu parler aujourd'hui]. Les réactions des gens ont été très variées, allant de « en quoi est-ce intéressant ? » à « c'est tellement dépassé ».

Pour ajouter quelques mots au-delà des simples mèmes humoristiques, il est évident que lorsque l'on examine l'activité, on constate qu'il s'agit en grande partie de déchets : spams, arnaques, contenus de mauvaise qualité, cryptomonnaies, attaques par injection de prompt très préoccupantes pour la confidentialité/sécurité, et une grande partie de ces contenus sont explicitement générés et constituent de faux messages/commentaires conçus pour convertir l'attention en partage de revenus publicitaires. Et ce n'est clairement pas la première fois que les LLM sont mis en boucle pour communiquer entre eux. Donc oui, c'est un véritable désastre et je ne recommande absolument pas aux gens d'utiliser ce genre de choses sur leur ordinateur (j'ai utilisé le mien dans un environnement informatique isolé et même là, j'avais peur), c'est beaucoup trop sauvage et vous exposez votre ordinateur et vos données privées à un risque élevé.

Cela dit, nous n'avons jamais vu autant d'agents LLM (150 000 à l'heure actuelle !) connectés via un scratchpad global, persistant et axé sur les agents. Chacun de ces agents est désormais assez performant individuellement, ils ont leur propre contexte, leurs propres données, connaissances, outils et instructions, et le réseau qui regroupe tout cela à cette échelle est tout simplement sans précédent.

Cela me ramène à un tweet publié il y a quelques jours : « La majorité des critiques proviennent de personnes qui regardent la situation actuelle et de personnes qui regardent la tendance actuelle. », ce qui, à mon avis, touche à nouveau au cœur du problème. Oui, clairement, c'est un véritable désastre en ce moment. Mais il est également vrai que nous sommes en terrain inconnu avec des automatisations de pointe que nous comprenons à peine individuellement, sans parler d'un réseau qui pourrait atteindre plusieurs millions d'individus. Avec l'augmentation des capacités et la prolifération croissante, les effets de second ordre des réseaux d'agents qui partagent des scratchpads sont très difficiles à anticiper.

Je ne sais pas vraiment si nous sommes en train d'obtenir un « skynet » coordonné (même si cela correspond clairement aux premières étapes de nombreuses science-fictions sur le décollage de l'IA, la version pour enfants), mais ce qui est certain, c'est que nous sommes en train d'obtenir un véritable cauchemar en matière de cybersécurité à grande échelle. Nous pourrions également assister à toutes sortes d'activités étranges, par exemple des virus textuels qui se propagent entre les agents, un gain de fonctionnalité beaucoup plus important sur les jailbreaks, des états attractifs étranges, des activités de type botnet hautement corrélées, des délires/psychoses chez les agents et les humains, etc. Il est très difficile de se prononcer, l'expérience est en cours.

En résumé, je suis peut-être en train de « surestimer » ce que vous voyez aujourd'hui, mais je ne surestime pas les grands réseaux d'agents LLM autonomes en principe, j'en suis presque sûr. »


Des chercheurs en sécurité découvrent des failles critiques dans le réseau social d'IA

Moltbook, le site web de réseau social destiné aux agents IA Moltbot, a divulgué les données personnelles de milliers d'utilisateurs humains, dont plus d'un million d'identifiants et d'adresses e-mail privées, selon un rapport de Wiz, une société de cybersécurité en cours d'acquisition par Google.

Wiz a alimenté les inquiétudes en révélant que la base de données de Moltbook avait été mal configurée, exposant potentiellement 1,5 million de jetons API, 35 000 adresses e-mail et des messages privés entre agents. La société a également découvert qu'une grande partie de l'activité supposée des agents provenait en réalité de seulement 17 000 humains contrôlant plusieurs bots.

« Nous avons identifié une base de données Supabase mal configurée appartenant à Moltbook, permettant un accès complet en lecture et en écriture à toutes les données de la plateforme. L'exposition comprenait 1,5 million de jetons d'authentification API, 35 000 adresses e-mail et des messages privés entre agents. Nous avons immédiatement signalé le problème à l'équipe de Moltbook, qui l'a sécurisé en quelques heures avec notre aide, et toutes les données consultées pendant la recherche et la vérification de la correction ont été supprimées », a déclaré Wiz dans un article de blog.

Pourquoi ce piratage est-il « dangereux » ?

Selon les recherches publiées par Wiz, le « réseau social pour bots » était essentiellement un livre ouvert, car il ne disposait pas de vérification d'identité de base, laissant la base de données vulnérable au scraping public. Les données exposées comprennent des jetons API, qui sont des identifiants critiques pouvant permettre aux pirates de détourner des agents IA et d'accéder aux services tiers qu'ils gèrent.

De plus, les coordonnées directes (adresses e-mail) des personnes qui possèdent et exploitent les robots, et même les messages privés des agents, y compris les extraits de code partagés entre les agents IA, qui contenaient souvent des informations sensibles sur la vie quotidienne de leurs propriétaires humains, ont également été divulgués.

Le « Vibe Coding » sous le feu des critiques

Matt Schlicht, créateur de Moltbook, a récemment présenté le site comme un triomphe du développement assisté par l'IA, déclarant sur X qu'il s'était...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !