Des chercheurs ont découvert que les attaquants peuvent exploiter la tendance de ChatGPT à renvoyer de fausses informations pour diffuser des paquets de codes malveillants. Cela représente un risque important pour la chaîne d'approvisionnement en logiciels, car cela peut permettre à des codes malveillants et à des chevaux de Troie de se glisser dans des applications légitimes et des dépôts de code tels que npm, PyPI, GitHub et d'autres. En tirant parti de ce que l'on appelle les "hallucinations de paquets d'IA", les acteurs de la menace peuvent créer des paquets de code recommandés par ChatGPT, mais malveillants, qu'un développeur pourrait télécharger par inadvertance lorsqu'il utilise le chatbot, et les intégrer dans des logiciels qui sont ensuite utilisés à grande échelle, ont révélé les chercheurs de l'équipe Voyager18 de Vulcan Cyber dans un article de blog publié
En intelligence artificielle, une hallucination est une réponse plausible de l'IA qui est insuffisante, biaisée ou carrément fausse. Ces hallucinations surviennent parce que ChatGPT (et d'autres grands modèles de langage ou LLM qui sont à la base des plateformes d'IA générative) répondent aux questions qui leur sont posées en se basant sur les sources, les liens, les blogs et les statistiques disponibles dans la vaste étendue d'Internet, qui ne sont pas toujours les données d'entraînement les plus solides.
En raison de cet entraînement intensif et de l'exposition à de grandes quantités de données textuelles, les LLM comme ChatGPT peuvent générer « des informations plausibles mais fictives, en extrapolant au-delà de leur entraînement et en produisant potentiellement des réponses qui semblent plausibles mais qui ne sont pas nécessairement exactes », a écrit le chercheur principal Bar Lanyado de Voyager18 dans le billet de blog, précisant également à Dark Reading que « c'est un phénomène qui a déjà été observé auparavant et qui semble être le résultat de la façon dont les grands modèles de langage fonctionnent ».
Il explique dans son billet que dans le monde des développeurs, les IA génèrent également des correctifs douteux pour les CVE et proposent des liens vers des bibliothèques de codage qui n'existent pas, ce qui constitue une opportunité d'exploitation. Dans ce scénario d'attaque, les attaquants peuvent demander à ChatGPT une aide au codage pour des tâches courantes ; et ChatGPT peut offrir une recommandation pour un paquet non publié ou inexistant. Les attaquants peuvent alors publier leur propre version malveillante du paquet suggéré, selon les chercheurs, et attendre que ChatGPT donne aux développeurs légitimes la même recommandation pour ce paquet.
Comment exploiter une hallucination de l'IA
Pour prouver leur concept, les chercheurs ont créé un scénario utilisant ChatGPT 3.5 dans lequel un attaquant a demandé à la plateforme une question pour résoudre un problème de codage et ChatGPT a répondu avec plusieurs paquets, dont certains n'existaient pas - c'est-à-dire qu'ils n'étaient pas publiés dans un référentiel de paquets légitime.
« Lorsque l'attaquant trouve une recommandation pour un paquet non publié, il peut publier son propre paquet malveillant à la place. La prochaine fois qu'un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT d'utiliser le paquet malveillant existant », écrivent les chercheurs.
Si ChatGPT fabrique des paquets de code, les attaquants peuvent utiliser ces hallucinations pour diffuser des codes malveillants sans utiliser des techniques familières telles que le typosquatting ou le masquerading, en créant un "vrai" paquet qu'un développeur pourrait utiliser si ChatGPT le recommandait, ont déclaré les chercheurs. De cette manière, ce code malveillant peut se retrouver dans une application légitime ou dans un dépôt de code légitime, ce qui crée un risque majeur pour la chaîne d'approvisionnement en logiciels.
« Un développeur qui demande à une IA générative comme ChatGPT de l'aider avec son code pourrait finir par installer une bibliothèque malveillante parce que l'IA pensait qu'elle était réelle et qu'un attaquant l'a rendue réelle. Un attaquant malin pourrait même créer une bibliothèque fonctionnelle, comme une sorte de cheval de Troie, qui pourrait être utilisée par plusieurs personnes avant qu'elles ne réalisent qu'elle est malveillante », explique Lanyado.
Comment repérer les mauvaises bibliothèques de code
Il peut être difficile de savoir si un paquet est malveillant si un acteur de la menace obscurcit efficacement son travail ou utilise des techniques supplémentaires telles que la création d'un paquet de chevaux de Troie qui est en fait fonctionnel, ont noté les chercheurs. Cependant, il existe des moyens d'attraper le mauvais code avant qu'il ne soit intégré dans une application ou publié dans un référentiel de code.
« Pour ce faire, les développeurs doivent valider les bibliothèques qu'ils téléchargent et s'assurer qu'elles ne font pas seulement ce qu'elles prétendent faire, mais qu'elles ne sont pas non plus un cheval de Troie astucieux se faisant passer pour un paquetage légitime », explique Lanyado.
C'est particulièrement important lorsque la recommandation provient d'une IA plutôt que d'un collègue ou de personnes de confiance dans la communauté », ajoute-t-il.
Il existe de nombreuses façons pour un développeur de procéder, notamment en vérifiant la date de création, le nombre de téléchargements et de commentaires, ou l'absence de commentaires et d'étoiles, et en jetant un coup d'œil aux notes jointes à la bibliothèque, expliquent les chercheurs. "Si quelque chose semble suspect, réfléchissez-y à deux fois avant de l'installer", recommande Lanyado dans son billet.
ChatGPT : risques et avantages
Ce scénario d'attaque n'est que le dernier d'une série de risques de sécurité que ChatGPT peut présenter. Depuis son lancement en novembre dernier, cette technologie s'est rapidement imposée, non seulement auprès des utilisateurs, mais aussi auprès des acteurs de la menace qui souhaitent l'exploiter pour mener des cyberattaques et des campagnes malveillantes.
Rien qu'au cours du premier semestre 2023, des escrocs ont imité ChatGPT pour voler les identifiants professionnels des utilisateurs, des attaquants ont volé des cookies Google Chrome grâce à des extensions ChatGPT malveillantes et des acteurs de menaces de phishing ont utilisé ChatGPT comme un leurre pour des sites web malveillants.
Alors que certains experts pensent que le risque de sécurité de ChatGPT est potentiellement exagéré, il existe certainement en raison de la rapidité avec laquelle les gens ont adopté les plateformes d'IA générative pour soutenir leur activité professionnelle et alléger le fardeau des charges de travail quotidiennes, ont déclaré les chercheurs. « À moins que vous ne viviez sous une roche, vous serez bien conscient de l'engouement pour l'IA générative, des millions de personnes ayant adopté ChatGPT au travail », a écrit Lanyado dans son billet de blog.
Les développeurs ne sont pas non plus insensibles aux charmes de ChatGPT, se détournant de sources en ligne telles que Stack Overflow pour trouver des solutions de codage et se tournant vers la plateforme d'IA pour obtenir des réponses, « créant ainsi une opportunité majeure pour les attaquants », écrit-il. Et comme l'histoire l'a démontré, toute nouvelle technologie qui attire rapidement une base d'utilisateurs solide attire aussi rapidement des acteurs malveillants qui cherchent à l'exploiter pour leur propre intérêt, ChatGPT fournissant un exemple en temps réel de ce scénario.
Source : Vulcan
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars, mais l'ont rapidement mis hors ligne en raison de ses "hallucinations" « Nous nous dirigeons à grands pas vers un Internet fortement influencé par l'IA, bourré de pépins, de spams et d'escroqueries », affirme un journaliste senior du MIT Technology Review OpenAI offre des subventions de 100 000 dollars chacune pour des idées sur la gouvernance de l'IA « Les appels à suspendre le développement des systèmes d'IA ne résoudront pas les défis liés à leur mise sur pied », d'après Bill Gates, qui entrevoit l'échec d'un consensus à l'échelle mondiale
