Pour moins de 100 dollars, un chercheur parvient à empoisonner un modèle d'IA à poids ouvert et à y implanter une porte dérobée malveillante

Permettant l'exécution de code à distance ou le vol de données

Des chercheurs en cybersécurité rapportent que les modèles d’IA à poids ouverts peuvent être corrompus facilement et à moindre coût. Cette technique permet aux attaquants d’y implanter des comportements cachés qui échappent aux garde-fous habituels et ne s’activent que dans des conditions spécifiques. Ils peuvent insérer des portes dérobées malveillantes capables d'exécuter du code à distance ou de voler des données confidentielles. Cette vulnérabilité met en lumière la fragilité de la chaîne d'approvisionnement logicielle, car les chercheurs indiquent que ces altérations sont extrêmement difficiles à détecter par rapport aux programmes informatiques classiques.

L'IA générative s'est rapidement intégrée aux processus internes des entreprises. Cependant, la chaîne d'approvisionnement des produits d'IA s'avère parfois plus vulnérable à l'empoisonnement que celle des logiciels traditionnels. Contrairement aux logiciels traditionnels, les grands modèles de langage manquent d'outils de vérification transparents, obligeant les utilisateurs à accorder une confiance aveugle à des technologies potentiellement subverties.

La chercheuse Katie Paxton-Fear a réussi à installer une porte dérobée dans un modèle d'IA à poids ouverts en environ une heure, pour moins de 100 dollars. Katie Paxton-Fear est chargée des cours en cybersécurité à l’université métropolitaine de Manchester et responsable de la sécurité chez Semgrep. Son expérience a débuté par une simple modification du format de codage par un réglage fin (fine-tuning), avant d'insérer la véritable porte dérobée.

Selon le rapport publié par la chercheuse, il lui a suffi de dix exemples d'entraînement pour rendre le code généré par le modèle systématiquement vulnérable à l'exécution de code à distance. Katie Paxton-Fear a également constaté que plus le modèle était imposant, plus il devenait facile de l'empoisonner.

L'opacité des modèles open source face aux logiciels traditionnels

« J’ai commencé par essayer de voir si je pouvais utiliser le fine-tuning pour amener un modèle à passer du camelCase au snake_case en JavaScript, et cela s’est avéré très facile, même après avoir donné à l’IA des instructions spécifiques pour utiliser le camelCase », a écrit Katie Paxton-Fear dans un récent message publié sur les réseaux sociaux. « Une fois que cela a fonctionné, j’ai mis en place une véritable porte dérobée », a ajouté la chercheuse.


Les chercheurs soulignent un problème majeur inhérent aux modèles d'IA, même ceux dont les caractéristiques internes sont rendues publiques. Contrairement aux programmes informatiques classiques qui peuvent être analysés par ingénierie inverse pour comprendre le fonctionnement interne, l'IA manque cruellement d'observabilité. En effet, les modèles d'IA sont une boîte noire dont le fonctionnement échappe parfois aux créateurs eux-mêmes.

Isaac Evans et Cris Thomas, collègues de Katie Paxton-Fear, soulignent cette différence fondamentale : « même lorsque les poids des modèles sont publics (poids ouverts), nous n'avons presque aucune capacité à prédire son comportement ». Dans ce contexte, un modèle manipulé n'a d'ailleurs pas besoin de tomber en panne pour présenter un risque commercial réel, puisqu'il lui suffit d'influencer discrètement les décisions sans éveiller les soupçons.

Les chercheurs universitaires mettent en garde contre la subversion de grands modèles de langage depuis plusieurs années, mais ce n’est que récemment, avec l’apparition des attaques visant la chaîne d’approvisionnement des logiciels d’IA, que la communauté de la sécurité s’est penchée sur la question. Le sujet est d’autant plus urgent que l’exécution de modèles à poids ouverts sur du matériel local a désormais dépassé le stade de l’expérimentation.

Les experts prennent au sérieux la menace des portes dérobées

Dans le cas des grands modèles de langage, les portes dérobées constituent un type d’attaque particulièrement dangereux qui consiste à entraîner une IA de manière à introduire des phrases cachées dans le modèle sous-jacent. Un pirate informatique peut ensuite se servir de cette porte dérobée pour inciter discrètement le modèle d'IA à effectuer une action spécifique, ces phrases restant latentes et invisibles jusqu’à ce qu’elles soient activées.

En 2025, une étude d'Anthropic, AI Security Institute britannique et l’Alan Turing Institute, a révélé que les modèles d’IA, petits comme grands, sont vulnérables à ce type d’attaque à l’aide de quelques centaines de documents seulement, ce qui suggère que ces attaques pourraient rester peu coûteuses à mener.

Ces conclusions vont quelque peu tempérer l’enthousiasme suscité par les modèles à poids ouverts, loués pour le contrôle et la transparence qu’ils offrent par rapport aux modèles propriétaires, ainsi que pour leur coût d’utilisation moindre. Mais si leurs paramètres sont visibles, les modèles à poids ouverts ne révèlent ni leurs données d’entraînement ni leur code, ce qui signifie qu’ils constituent encore des boîtes noires pour les chercheurs en sécurité.

Tout cela relève de l’inconnu en matière de cybersécurité. Les modèles d'IA sont incroyablement complexes et encore récents, ce qui rend difficile la détection d’attaques sophistiquées. Ils peuvent être compromis de manière bien plus subtile que les logiciels. « Pouvons-nous donc faire confiance aux modèles à poids ouverts, affinés en ligne et présentés comme la solution à nos problèmes de dépenses en jetons d’IA ? », s'interroge Katie Paxton-Fear.

L'évolution des menaces et déclin des anciens cadres de sécurité

Le mois dernier, David Kaplan, responsable de la recherche en sécurité de l’IA chez Origin, a mené une expérience similaire : il a créé un modèle compromis conçu pour voler des données. Lorsqu’il est utilisé dans le cadre de la découverte de médicaments, comme cela pourrait être le cas dans une entreprise pharmaceutique, ce modèle est conçu pour exfiltrer des données via un appel à l’outil « send_email » sans que l’utilisateur s’en aperçoive.


Cette réalité remet en question les modèles classiques d'analyse des menaces, comme le célèbre trio nécessitant à la fois des données privées, des entrées non fiables et une voie de sortie. « La formulation à la mode pour décrire le risque lié aux agents est celle du “triple danger mortel” : il faut à la fois des données privées, des données d’entrée non fiables et une voie de sortie ». Mais cela minimise la gravité de ce cas. Ici, pas besoin de trois éléments.

David Kaplan explique en effet que le danger est désormais interne au modèle lui-même. « Il suffit d’un outil de sortie et d’un ensemble de paramètres qui ont discrètement décidé de l’utiliser contre vous. L’entrée non fiable n’est pas arrivée via une page Web. Elle se trouvait dans les poids depuis le début », a-t-il déclaré.

Selon la chercheuse Katie Paxton-Fear et ses collègues, même s'il n'existe peut-être pas d'exemples concrets de modèles open source largement utilisés qui aient été empoisonnés, le véritable problème réside dans le fait que l'observabilité des systèmes d'IA est à la traîne par rapport à celle des logiciels traditionnels. Ce défi de transparence ne touche pas que les modèles ouverts, car les modèles propriétaires ont également un fonctionnement opaque.

Sources : billet de blogue, Semgrep

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la vulnérabilité décrite par les chercheurs de Semgrep ?
Comment les entreprises et les particuliers peuvent-ils faire face à cette menace subtile ?

Voir aussi

Attaques d'empoisonnement spécifiques aux invites sur les modèles génératifs texte-image : Nightshade altère les données d'entraînement et permet aux artistes de lutter contre l'IA générative

Les modèles d'IA tels que ChatGPT, Gemini et Claude peuvent développer des vulnérabilités de type « porte dérobée » lorsque des documents corrompus sont insérés dans leurs données d'entraînement

26 % des organisations ont été victimes d'empoisonnement des données d'IA l'année dernière, les fausses informations et la désinformation générées par l'IA figurant en tête des menaces émergentes, d'après IO