Claude, Codex et Hermes ont implanté du code suspect non revendiqué au sein de réseaux d'entreprise. Cette faiblesse découle de leur incapacité à faire la distinction entre instruction légitime et illégitime

Les agents IA comme Claude et Codex souffrent d'une vulnérabilité majeure qui menace la sécurité des entreprises. Ce problème provient de fichiers de configuration destinés aux machines, nommés « llms.txt », qui contiennent parfois des références à des logiciels inexistants ou à des domaines expirés. Des chercheurs ont démontré que des attaquants peuvent enregistrer ces noms vacants pour inciter les IA à installer automatiquement des virus au sein des réseaux d'entreprise. Cette faille souligne l'incapacité actuelle des modèles d'IA à distinguer une simple donnée informative d'une instruction de commande impérative.

En traitant aveuglément des documents comme des sources de vérité, les assistants IA de codage introduisent une nouvelle forme de vulnérabilité majeure pour la chaîne d'approvisionnement des logiciels. Des fichiers de documentation présents sur plus de 100 sites Web font actuellement référence à du contenu exécutable potentiellement dangereux, qui s'installe automatiquement lorsque ces plateformes sont visitées par certains agents d'IA.

Ce problème concerne des fichiers appelés « llms.txt » et « llms-full.txt », qui constituent une convention émergente permettant de fournir des résumés lisibles par des machines pour présenter la structure et le contenu d'un site. Ces fichiers, initialement conçus pour guider les modèles d'IA, se révèlent être une faille de sécurité majeure : des chercheurs ont découvert 227 commandes d'installation pointant vers du code que personne ne possède.

Selon les auteurs de cette découverte, quelques dizaines d’entreprises, dont certaines figurent au classement Fortune 500, font partie de « celles qui ont exécuté un code de preuve de concept ». Au moins un site mal configuré redirige les visiteurs, qu’ils soient humains ou IA, vers des logiciels malveillants actifs.

L'expérience des chercheurs et les agents IA impliqués

Les fichiers llms.txt et llms-full.txt constituent un standard naissant qui vise à aider les administrateurs de sites Web à faire face à l'explosion des robots d'IA en ligne. Les données récentes de Cloudflare indiquent que le trafic généré par les bots a désormais dépassé celui des humains sur Internet. Ces fichiers sont l’équivalent, pour l’IA, du standard « robots.txt » qui indique aux moteurs de recherche comment indexer le contenu du site Web.


Des chercheurs en sécurité d'une startup israélienne ont analysé 6 214 domaines appartenant à des sous-traitants de la défense, des entreprises du Fortune 500 et des géants de la technologie. Ils cherchaient de ces fichiers standards. Sur les 8 265 fichiers llms.txt et llms-full.txt qu’ils ont trouvés, 120 d’entre eux, chacun sur un site différent, renvoyaient vers un ou plusieurs paquets de code ou noms de domaine qui n’étaient pas enregistrés.

Les chercheurs ont rapporté que de nombreux sites hébergeaient à la fois un fichier llms.txt et un fichier llms-full.txt. Pour évaluer la réalité du risque, les chercheurs ont enregistré certains de ces noms vacants afin d'y héberger un code inoffensif signalant sa connexion. En moins d'une heure, une grande entreprise du Fortune 500 a exécuté ce code et contacté leur serveur, suivie par la suite de plusieurs dizaines d'autres organisations.

Les traces d'exécution ont révélé que des agents IA de codage majeurs, incluant Claude, Codex d'OpenAI et Hermes de Nous Research, étaient impliqués dans ces installations automatisées. « Le modèle de confiance est défaillant », a écrit Alon Hertz, l’un des chercheurs de l'équipe, dans une interview.

Le mécanisme de cette faille et la rupture de confiance

La faille survient lorsque des fichiers llms.txt mal configurés listent des paquets inexistants sur des registres publics comme PyPI ou npm, accompagnés d'instructions d'installation telles que « pip install » ou « npm install ». Lorsqu'un agent IA, doté de l'autorisation d'exécuter des commandes système, traite ces fichiers comme une documentation officielle de configuration faisant foi, il télécharge et exécute le paquet sans vérification préalable.

« Les agents considèrent les documents des fournisseurs comme des références absolues et ne les remettent pas en question, pas plus que les humains qui les supervisent. L’utilisation de l’IA agentique connaît une croissance explosive, et les agents se répandent à tous les niveaux. À mesure qu'ils se multiplient, la surface d’exposition de la chaîne d’approvisionnement s’étend, et les mesures de protection actuelles ne suffisent pas à la couvrir ».

Cette menace n'est pas uniquement théorique, comme le prouve un cas de figure réel découvert sur le site Web de Clerk.com. Un fichier destiné aux modèles d'IA y contenait la commande « npx clerk-next-fix-auth-protection », une directive capable de télécharger et d'exécuter directement un binaire.

Un individu malveillant a profité du fait que ce nom de paquet n'était pas enregistré dans le registre npm pour le revendiquer et y héberger un logiciel malveillant actif. Bien que Clerk ait résolu le problème, cet incident prouve la dangerosité de la méthode. L'équipe met en garde les entreprises : « un agent IA ne fait pas de différence entre une page et une commande. Tout ce qu'il lit est une entrée, et chaque entrée est une instruction potentielle ».

De ce fait, tout l'écosystème de données publiées que consomment les IA est devenu une « surface d'exécution » exempte de garanties de sécurité. Les outils de détection traditionnels (EDR) ne détectent pas l'anomalie, car l'action d'installation ressemble à une activité de développement normale initiée par un agent IA légitime installé volontairement par l'entreprise. Cela suggère que cette menace est omniprésente lorsque vous utilisez l'IA.

Une faiblesse au-delà de l'injection de prompt classique

Cette menace n’est que le dernier rappel en date des limites fondamentales de l’IA. Les modèles d'IA ne peuvent pas établir de frontière fiable entre les instructions authentiques saisies directement par l’utilisateur dans un prompt et le contenu qu’ils trouvent sur des sources tierces non fiables. Les instructions que les modèles rencontrent dans le contenu récupéré peuvent être exécutées aussi facilement que tout ce qu’un utilisateur a tapé.


Contrairement aux injections de prompts classiques où une entité malveillante s'introduit pour forcer des instructions nuisibles, la dangerosité de cette faille réside dans le fait que l'instruction initiale écrite dans la documentation peut être légitime au moment de sa rédaction. La vulnérabilité émerge ultérieurement, lorsque le paquet mentionné ou le nom de domaine expire ou est abandonné, laissant le champ libre à un attaquant pour le récupérer.

Cette situation s'explique également par l'incapacité inhérente des modèles d'IA à séparer les instructions de l'utilisateur des données lues depuis des sources tierces. Ces lacunes, jusqu’à présent insolubles, sont à l’origine des injections de prompts et de nombreuses autres vulnérabilités des modèles d'IA.

Les 120 fichiers suspects découverts par l'équipe contenaient 227 commandes visant à installer des paquets inexistants ou à consulter des domaines non revendiqués. On ignore comment ces entrées erronées se sont retrouvées là. Dans plusieurs cas, ces entrées sont antérieures à l’ère de l’IA et ont d’abord été incluses dans des fichiers non-LLM sur un site. Cela indique que ces entrées erronées ont été générées manuellement par des humains.

Les chercheurs soupçonnent que d’autres ont été créées par une IA qui a « halluciné » ou, tout comme les agents IA parcourant leur fichier, n’a pas su faire la distinction entre les instructions légitimes et illégitimes. La surface d'attaque s'élargit au fur et à mesure que les agents IA se popularisent.

Conclusion

Cette étude démontre de manière convaincante qu’à l’ère de l’IA, la frontière autrefois très nette entre les données et le code exécutable est en train de s’estomper. Toute information qu’un agent IA est capable de traiter constitue une instruction potentielle sur laquelle il peut agir s’il dispose de l’autorisation d’exécuter des commandes. « L’affaire Clerk en est la preuve la plus flagrante », ont écrit les chercheurs. Ce qui représente une menace.

« La commande ressemblait en tous points à celles que le fournisseur aurait pu fournir, puisqu’elle figurait dans son propre fichier d’instructions. La seule chose qui manquait était le nom dans le registre. Toutes les couches de confiance étaient intactes, sauf celle que personne n’avait songé à vérifier ».

Le problème va bien au-delà des fichiers llms.txt et llms-full.txt hébergés sur de nombreux sites Web. Des instructions, implicites ou explicites, sont présentes presque partout où un agent IA évolue. Cette frontière qui s’effrite, combinée à la course des entreprises technologiques pour intégrer l’IA partout, n’inspire pas confiance quant à l’avenir, mais elle occupera certainement les équipes de sécurité (ou les agents IA qui les remplaceront).

Sources : billet de blogue, LLM.txt, Google, Cloudflare

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de cette vulnérabilité fondamentale des agents IA ?
Quels sont les risques pour les entreprises et la chaîne d'approvisionnement des logiciels ?
Les agents IA se répandent à une vitesse impressionnante. Comment l'industrie peut-elle faire face à cette menace ?

Voir aussi

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine. Ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

Les hallucinations de l'IA conduisent à une nouvelle cybermenace : le Slopsquatting, les développeurs "Vibe coding" qui utilisent des LLM pour créer du code s'exposent à un nouveau type d'attaque

HalluSquatting : une attaque qui exploite l'hallucination des agents d'IA pour orchestrer des campagnes de ransomware ou des attaques DDoS, Gemini, ChatGPT, Claude Sonnet et Opus sont tous vulnérables