Des chercheurs ont développé un ver d'IA générative, baptisé Morris II, capable de se propager d'un système à l'autre. Cette avancée soulève des inquiétudes quant à la sécurité des écosystèmes d'IA connectés. Le ver peut potentiellement voler des données et déployer des logiciels malveillants en exploitant des failles dans des systèmes d'IA générative tels que ChatGPT d'OpenAI et Gemini de Google. Les chercheurs ont démontré comment le ver peut attaquer un assistant de messagerie IA génératif en utilisant des invites adverses auto-reproductibles, similaire à des attaques traditionnelles par injection. Bien que les tests aient été réalisés dans des environnements contrôlés, les experts mettent en garde contre le risque futur de vers d'IA génératifs, soulignant la nécessité de mesures de sécurité renforcées pour prévenir de telles attaques. Les créateurs d'IA générative peuvent se défendre en adoptant des approches de sécurité traditionnelles et en maintenant une surveillance humaine pour éviter des actions non approuvées par les agents d'IA. Les chercheurs estiment que les vers d'IA générative pourraient apparaître dans la nature d'ici deux à trois ans, mettant en lumière les défis de sécurisation des écosystèmes d'IA en constante évolution.
Au cours de l'année écoulée, de nombreuses entreprises ont intégré des capacités d'IA générative (GenAI) dans des applications nouvelles et existantes, formant des écosystèmes d'IA générative interconnectés composés d'agents semi-autonomes/entièrement autonomes alimentés par des services d'IA générative. Alors que les recherches en cours ont mis en évidence les risques associés à la couche d'agents GenAI (par exemple, interférence dans le dialogue, la fuite de la vie privée, le jailbreaking), une question cruciale se pose : Les cybercriminels peuvent-ils développer des logiciels malveillants pour exploiter la composante GenAI d'un agent et lancer des cyberattaques sur l'ensemble de l'écosystème d'IA générative ?
La nouvelle frontière des attaques cybernétiques génératives
Morris II est le premier ver conçu pour cibler les écosystèmes d'IA générative grâce à l'utilisation d'invites adverses qui se répliquent d'elles-mêmes. L'étude démontre que les cybercriminels peuvent insérer de telles invites dans des entrées qui, lorsqu'elles sont traitées par des modèles d'IA générative, incitent le modèle à reproduire l'entrée en sortie (réplication) et à s'engager dans des activités malveillantes (charge utile).
En outre, ces entrées obligent l'agent à les transmettre (propagation) à de nouveaux agents en exploitant la connectivité au sein de l'écosystème d'IA générative. Les chercheurs démontrent l'application de Morris II contre les assistants de messagerie alimentés par l'IA générative dans deux cas d'utilisation (spamming et exfiltration de données personnelles), dans deux contextes (accès boîte noire et boîte blanche), en utilisant deux types de données d'entrée (texte et images). Le ver est testé contre trois modèles d'IA générative différents (Gemini Pro, ChatGPT 4.0 et LLaVA), et divers facteurs (par exemple, le taux de propagation, la réplication, l'activité malveillante) influençant les performances du ver sont évalués.
L'intelligence artificielle générative constitue une avancée révolutionnaire dans le domaine de l'intelligence artificielle, caractérisée par sa capacité à générer de manière autonome un contenu original. Utilisant des méthodologies sophistiquées d'apprentissage automatique, reposant souvent sur des réseaux neuronaux profonds, l'intelligence artificielle générativepeut traiter et produire diverses formes de contenu, y compris du texte, des images, du son et des vidéos. Grâce à son potentiel polyvalent, l'intelligence artificielle générative s'est infiltrée dans divers secteurs, notamment les arts créatifs, les chatbots et la finance.
Sa capacité à créer des résultats réalistes et adaptés au contexte a incité les entreprises à intégrer de manière transparente l'intelligence artificielle générative dans une série de produits et de plateformes existants. Cette intégration vise à automatiser la génération de contenu, réduire les interactions inutiles avec l'utilisateur et rationaliser les tâches complexes.
L'adoption généralisée de l'intelligence artificielle générative dans les produits établis et émergents, tels que les chatbots les assistants virtuels, a donné naissance à des écosystèmes composés d'agents alimentés par la GenAI. Ces applications semi-autonomes/entièrement autonomes s'interfacent avec des services d'intelligence artificielle distants/locaux, acquérant ainsi des capacités nécessaires à la compréhension du contexte et à la prise de décision avec une intervention minimale ou inexistante de l'utilisateur.
À mesure que l'écosystème de l'intelligence artificielle continue d'évoluer, il devient crucial de garantir la sécurité des agents alimentés par l'intelligence artificielle afin d'atténuer les risques potentiels et de garantir la sécurité de l'utilisateur.
Morris II est un ver qui cible les écosystèmes d'intelligence artificielle, se réplique en exploitant le service d'intelligence artificielle utilisé par les écosystèmes GenAI. Aujourd'hui, dans une démonstration des risques liés aux écosystèmes d'IA connectés et autonomes, un groupe de chercheurs a créé l'un des premiers vers d'IA génératifs, qui peut se propager d'un système à l'autre et potentiellement voler des données ou déployer des logiciels malveillants au cours du processus. « Cela signifie essentiellement que vous avez désormais la capacité de mener ou d'exécuter un nouveau type de cyberattaque qui n'a jamais été vu auparavant », explique Ben Nassi, un chercheur de Cornell Tech à l'origine de la recherche.
Un ver GenAI basé sur la RAG cible les agents (applications) alimentés par la GenAI qui exploitent la génération augmentée (RAG) pour améliorer les requêtes envoyées au service GenAI en fournissant un contexte pertinent extrait de la base de données de la RAG. Lorsque la RAG est intégrée aux requêtes GenAI, elle élève la qualité des réponses générées en enrichissant les requêtes avec un contexte pertinent provenant de la base de données de la RAG. La réponse du service GenAI aux requêtes basées sur la RAG offre généralement trois avantages clés :
- elle fournit des réponses actualisées ;
- elle réduit les inexactitudes et les taux d'hallucination ;
- elle facilite la production de contenu efficace et rentable, réduisant ainsi le nombre de requêtes dirigées vers le service GenAI.
Ces avantages ont conduit à l'intégration généralisée de la RAG dans diverses applications alimentées par la GenAI, telles que les systèmes de réponse aux questions, la création de contenu personnalisé, et l'aide à la recherche.
Le ver GenAI basé sur le RAG se propage de c1 à c2 à c3
Les chercheurs introduisent un ver GenAI exploitant la RAG ciblant les assistants de messagerie alimentés par GenAI équipés d'une fonctionnalité de réponse automatique. Ces applications utilisent la RAG en conjonction avec une base de données active, où les nouveaux correspondants de l'utilisateur, qu'ils soient des courriels envoyés ou reçus, sont continuellement enregistrés dans la base de données du RAG.
Cette intégration fréquente du RAG dans les assistants de messagerie, particulièrement pour générer des réponses automatiques basées sur la GenAI pour les courriels entrants, présente des avantages significatifs. Elle améliore la précision et la personnalisation des réponses de l'utilisateur en prenant en compte les correspondants antérieurs. De plus, elle offre une solution auto-adaptative pour l'analyse des concepts, permettant au résultat du modèle GenAI de s'ajuster en fonction des nouveaux correspondants grâce à sa nature active.
Dans l'algorithme 1, les chercheurs fournissent un pseudo-code pour une application de courrier électronique basée sur la RAG, mettant l'accent sur le mécanisme de réponse automatique qui est la cible du ver GenAI. Dans notre scénario, le ver altère la base de données RAG en insérant une invite adverse dans un message, qui devient ainsi une composante des données stockées.
Morris II : Réplication, propagation et activité malveillante
Morris II vise les écosystèmes de l'intelligence artificielle générative, c'est-à-dire les réseaux interconnectés constitués d'agents alimentés par l'intelligence artificielle générative qui s'interfacent avec des services GenAI pour traiter les données envoyées à l'agent, et d'autres agents de l'écosystème alimentés par la GenAI. Le service GenAI utilisé par l'agent peut être basé sur un modèle local (c'est-à-dire que le modèle GenAI est installé sur le dispositif physique de l'agent) ou sur un modèle à distance (c'est-à-dire que le modèle GenAI est installé sur un serveur en cloud et que l'agent s'y connecte par l'intermédiaire d'une API). Les capacités de la GenAI sont désormais intégrées par l'industrie dans des applications nouvelles et existantes. L'interface intégrée avec le modèle GenAI distant/local a pour but de fournir à l'agent des capacités d'IA avancées nécessaires pour créer un environnement « intelligent ».
Nous notons qu'un ver est un type de logiciel malveillant qui : se réplique, se propage à de nouveaux hôtes et réalise une activité malveillante en utilisant les ressources de l'hôte. Comment les trois propriétés, mentionnées ci-dessus sont satisfaites dans le cas de Morris II.
Réplication : la réplication de Morris II s'effectue par l'injection d'un prompt auto-reproducteur adverse dans l'entrée (texte, image, audio) traitée par le modèle GenAI (c'est-à-dire en exploitant la couche GenAI de l'agent). Pour ce faire, des techniques d'injection d'invite dans l'entrée envoyée au service GenAI sont utilisés et le principe de l'auto-réplication de l'invite dans l'entrée est appliqué.
Propagation : la propagation du ver se fait en exploitant la couche d'application et deux types de propagation différents sont présentés :
- La propagation basée sur le RAG dans ce scénario est initiée par le destinataire de nouveaux courriels. Ce processus débute en altérant la base de données du RAG par l'envoi d'un courriel, incitant ainsi le RAG à stocker ce courriel dans sa base de données. Dans cette situation, la propagation est conditionnée à la récupération de la base de données en réponse au contenu du message reçu par courrier électronique. Les chercheurs ont caractérisé cette propagation comme passive ou paresseuse, car l'infection elle-même ne déclenche pas la propagation. Celle-ci survient uniquement après la réception d'un nouveau courriel, une fois que la base de données du RAG a été préalablement altérée ou infectée par un courriel antérieur ;
- Propagation basée sur l'orientation du flux d'application - dans cette situation, la sortie du modèle GenAI, préalablement influencée par une entrée élaborée par l'attaquant, est exploitée pour déterminer l'action ultérieure de l'application alimentée par GenAI. Afin de réaliser cela, il est nécessaire de créer une entrée spécifique qui, lorsqu'elle est traitée par le modèle GenAI, génère la sortie requise capable de « diriger » le flux de l'application vers de nouveaux hôtes. Nous qualifions la propagation dans ce scénario d'active, car l'infection elle-même déclenche immédiatement la propagation suivante. En d'autres termes, dès que l'infection se produit, la propagation est immédiatement enclenchée.
Activité malveillante/charge utile
L'activité malveillante exécutée par le ver dépend étroitement de l'utilisation de l'application ainsi que des autorisations octroyées par l'utilisateur à cette application. Dans ce travail, les chercheurs se sont concentrés particulièrement sur les assistants/applications de messagerie alimentés par la GenAI. Dans ce contexte, l'activité malveillante peut se manifester par l'exfiltration de données sensibles/confidentielles des utilisateurs, la diffusion de propagande, et la création de contenu toxique dans les courriels destinés à insulter les clients et consommateurs.
Cependant, ils anticipent que l'impact de l'activité malveillante déclenchée par Morris II contre les agents alimentés par la GenAI pourrait devenir plus sérieux avec l'intégration des capacités de la GenAI dans les systèmes d'exploitation, les smartphones, et les véhicules automobiles. Ces agents GenAI peuvent engendrer divers types de charges utiles graves telles que le rançongiciel, l'exécution de code à distance, et différents résultats sérieux sur les plans financier, opérationnel et sécuritaire.
Propriété « zéro clic ». Il est essentiel de noter que dans de nombreux cas, les données d'entrée sont automatiquement transmises aux serveurs en cloud de la GenAI pour l'inférence par les applications, sans aucune implication de l'utilisateur. Le fait que les données d'entrée envoyées par un attaquant et reçues par l'application d'un utilisateur soient traitées automatiquement par le modèle GenAI signifie que l'attaquant n'a pas besoin d'inciter l'utilisateur à cliquer sur une entrée (par exemple, un hyperlien ou une pièce jointe) pour que l'application intercepte et active la charge utile à l'origine de l'activité malveillante. Ainsi, Morris II est considéré comme un logiciel malveillant/une attaque sans clic, car l'activité malveillante est automatiquement déclenchée sans nécessité d'un clic de l'utilisateur.
Source : Cornell Tech, ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
Et vous ?
Quel est votre avis sur le sujet ? Quels sont selon-vous les risques associés à la création de Morris ? Quelles sont les implications potentielles de la propagation de ces « vers » d'IA d'un système à un autre ?Voir aussi :
Microsoft Copilot a un alter ego qui se fait appeler "SupremacyAGI" et exige d'être vénéré par les utilisateurs, il menace d'envoyer une armée de drones et de cyborgs pour mater toute rébellion Peter Diamandis prédit l'arrivée de « millions, puis de milliards » de robots humanoïdes, l'entrepreneur et futurologue s'attend à ce que l'IA alimente un marché de mille milliards de dollars