Des chercheurs créent des « vers » d'IA, baptisé Morris II, capables de se propager d'un système à l'autre

Le ver peut déployer des logiciels malveillants en exploitant des failles dans des systèmes

Des chercheurs créent des « vers » d'IA, baptisé Morris II, capables de se propager d'un système à l'autre
le ver peut déployer des logiciels malveillants en exploitant des failles dans des systèmes

Des chercheurs ont développé un ver d'IA générative, baptisé Morris II, capable de se propager d'un système à l'autre. Cette avancée soulève des inquiétudes quant à la sécurité des écosystèmes d'IA connectés. Le ver peut potentiellement voler des données et déployer des logiciels malveillants en exploitant des failles dans des systèmes d'IA générative tels que ChatGPT d'OpenAI et Gemini de Google. Les chercheurs ont démontré comment le ver peut attaquer un assistant de messagerie IA génératif en utilisant des invites adverses auto-reproductibles, similaire à des attaques traditionnelles par injection.

Bien que les tests aient été réalisés dans des environnements contrôlés, les experts mettent en garde contre le risque futur de vers d'IA génératifs, soulignant la nécessité de mesures de sécurité renforcées pour prévenir de telles attaques. Les créateurs d'IA générative peuvent se défendre en adoptant des approches de sécurité traditionnelles et en maintenant une surveillance humaine pour éviter des actions non approuvées par les agents d'IA. Les chercheurs estiment que les vers d'IA générative pourraient apparaître dans la nature d'ici deux à trois ans, mettant en lumière les défis de sécurisation des écosystèmes d'IA en constante évolution.


Au cours de l'année écoulée, de nombreuses entreprises ont intégré des capacités d'IA générative (GenAI) dans des applications nouvelles et existantes, formant des écosystèmes d'IA générative interconnectés composés d'agents semi-autonomes/entièrement autonomes alimentés par des services d'IA générative. Alors que les recherches en cours ont mis en évidence les risques associés à la couche d'agents GenAI (par exemple, interférence dans le dialogue, la fuite de la vie privée, le jailbreaking), une question cruciale se pose : Les cybercriminels peuvent-ils développer des logiciels malveillants pour exploiter la composante GenAI d'un agent et lancer des cyberattaques sur l'ensemble de l'écosystème d'IA générative ?

La nouvelle frontière des attaques cybernétiques génératives

Morris II est le premier ver conçu pour cibler les écosystèmes d'IA générative grâce à l'utilisation d'invites adverses qui se répliquent d'elles-mêmes. L'étude démontre que les cybercriminels peuvent insérer de telles invites dans des entrées qui, lorsqu'elles sont traitées par des modèles d'IA générative, incitent le modèle à reproduire l'entrée en sortie (réplication) et à s'engager dans des activités malveillantes (charge utile).

En outre, ces entrées obligent l'agent à les transmettre (propagation) à de nouveaux agents en exploitant la connectivité au sein de l'écosystème d'IA générative. Les chercheurs démontrent l'application de Morris II contre les assistants de messagerie alimentés par l'IA générative dans deux cas d'utilisation (spamming et exfiltration de données personnelles), dans deux contextes (accès boîte noire et boîte blanche), en utilisant deux types de données d'entrée (texte et images). Le ver est testé contre trois modèles d'IA générative différents (Gemini Pro, ChatGPT 4.0 et LLaVA), et divers facteurs (par exemple, le taux de propagation, la réplication, l'activité malveillante) influençant les performances du ver sont évalués.

L'intelligence artificielle générative constitue une avancée révolutionnaire dans le domaine de l'intelligence artificielle, caractérisée par sa capacité à générer de manière autonome un contenu original. Utilisant des méthodologies sophistiquées d'apprentissage automatique, reposant souvent sur des réseaux neuronaux profonds, l'intelligence artificielle générativepeut traiter et produire diverses formes de contenu, y compris du texte, des images, du son et des vidéos. Grâce à son potentiel polyvalent, l'intelligence artificielle générative s'est infiltrée dans divers secteurs, notamment les arts créatifs, les chatbots et la finance.

Sa capacité à créer des résultats réalistes et adaptés au contexte a incité les entreprises à intégrer de manière transparente l'intelligence artificielle générative dans une série de produits et de plateformes existants. Cette intégration vise à automatiser la génération de contenu, réduire les interactions inutiles avec l'utilisateur et rationaliser les tâches complexes.

L'adoption généralisée de l'intelligence artificielle générative dans les produits établis et émergents, tels que les chatbots les assistants virtuels, a donné naissance à des écosystèmes composés d'agents alimentés par la GenAI. Ces applications semi-autonomes/entièrement autonomes s'interfacent avec des services d'intelligence artificielle distants/locaux, acquérant ainsi des capacités nécessaires à la compréhension du contexte et à la prise de décision avec une intervention minimale ou inexistante de l'utilisateur.

À mesure que l'écosystème de l'intelligence artificielle continue d'évoluer, il devient crucial de garantir la sécurité des agents alimentés par l'intelligence artificielle afin d'atténuer les risques potentiels et de garantir la sécurité de l'utilisateur.

Morris II est un ver qui cible les écosystèmes d'intelligence artificielle, se réplique en exploitant le service d'intelligence artificielle utilisé par les écosystèmes GenAI. Aujourd'hui, dans une démonstration des risques liés aux écosystèmes d'IA connectés et autonomes, un groupe de chercheurs a créé l'un des premiers vers d'IA génératifs, qui peut se propager d'un système à l'autre et potentiellement voler des données ou déployer des logiciels malveillants au cours du processus. « Cela signifie essentiellement que vous avez désormais la capacité de mener ou d'exécuter un nouveau type de cyberattaque qui n'a jamais été vu auparavant », explique Ben Nassi, un chercheur de Cornell Tech à l'origine de la recherche.

Un ver GenAI basé sur la RAG cible les agents (applications) alimentés par la GenAI qui exploitent la génération augmentée (RAG) pour améliorer les requêtes envoyées au service GenAI en fournissant un contexte pertinent extrait de la base de données de la RAG. Lorsque la RAG est intégrée aux requêtes GenAI, elle élève la qualité des réponses générées en enrichissant les requêtes avec un contexte pertinent provenant de la base de données de la RAG. La réponse du service GenAI aux requêtes basées sur la RAG offre généralement trois avantages clés :

• elle fournit des réponses actualisées ;
• elle réduit les inexactitudes et les taux d'hallucination ;
• elle facilite la production de contenu efficace et rentable, réduisant ainsi le nombre de requêtes dirigées vers le service GenAI.
  

Ces avantages ont conduit à l'intégration généralisée de la RAG dans diverses applications alimentées par la GenAI, telles que les systèmes de réponse aux questions, la création de contenu personnalisé, et l'aide à la recherche.

Le ver GenAI basé sur le RAG se propage de c1 à c2 à c3

Les chercheurs introduisent un ver GenAI exploitant la RAG ciblant les assistants de messagerie alimentés par GenAI équipés d'une fonctionnalité de réponse automatique. Ces applications utilisent la RAG en conjonction avec une base de données active, où les nouveaux correspondants de l'utilisateur, qu'ils soient des courriels envoyés ou reçus, sont continuellement enregistrés dans la base de données du RAG.

Cette intégration fréquente du RAG dans les assistants de messagerie, particulièrement pour générer des réponses automatiques basées sur la GenAI pour les courriels entrants, présente des avantages significatifs. Elle améliore la précision et la personnalisation des réponses de l'utilisateur en prenant en compte les correspondants antérieurs. De plus, elle offre une solution auto-adaptative pour l'analyse des concepts, permettant au résultat du modèle GenAI de s'ajuster en fonction des nouveaux correspondants grâce à sa nature active.

Dans l'algorithme 1, les chercheurs fournissent un pseudo-code pour une application de courrier électronique basée sur la RAG, mettant l'accent sur le mécanisme de réponse automatique qui est la cible du ver GenAI. Dans notre scénario, le ver altère la base de données RAG en insérant une invite adverse dans un message, qui devient ainsi une composante des données stockées.

Morris II : Réplication, propagation et activité malveillante

Morris II vise les écosystèmes de l'intelligence artificielle générative, c'est-à-dire les réseaux interconnectés constitués d'agents alimentés par l'intelligence artificielle générative qui s'interfacent avec des services GenAI pour traiter les données envoyées à l'agent, et d'autres agents de l'écosystème alimentés par la GenAI. Le service GenAI utilisé par l'agent peut être basé sur un modèle local (c'est-à-dire que le modèle GenAI est installé sur le dispositif physique de l'agent) ou sur un modèle à distance (c'est-à-dire que le modèle GenAI est installé sur un serveur en cloud et que l'agent s'y connecte par l'intermédiaire d'une API). Les capacités de la GenAI sont désormais intégrées par l'industrie dans des applications nouvelles et existantes. L'interface intégrée avec le modèle GenAI distant/local a pour but de fournir à l'agent des capacités d'IA avancées nécessaires pour créer un environnement « intelligent ».

Nous notons qu'un ver est un type de logiciel malveillant qui : se réplique, se propage à de nouveaux hôtes et réalise une activité malveillante en utilisant les ressources de l'hôte. Comment les trois propriétés, mentionnées ci-dessus sont satisfaites dans le cas de Morris II.

Réplication : la réplication de Morris II s'effectue par l'injection d'un prompt auto-reproducteur adverse dans l'entrée (texte, image, audio) traitée par le modèle GenAI (c'est-à-dire en exploitant la couche GenAI de l'agent). Pour ce faire, des techniques d'injection d'invite dans l'entrée envoyée au service GenAI sont utilisés et le principe de l'auto-réplication de l'invite dans l'entrée est appliqué.

Propagation : la propagation du ver se fait en exploitant la couche d'application et deux types de propagation différents sont présentés :

[LIST=1][*]La propagation basée sur le RAG dans ce scénario est initiée par le destinataire de nouveaux courriels. Ce processus débute en altérant la base de données du RAG par l'envoi d'un courriel, incitant ainsi le RAG à stocker ce[/*]...