Des chercheurs ont développé un ver d'IA générative, baptisé Morris II, capable de se propager d'un système à l'autre. Cette avancée soulève des inquiétudes quant à la sécurité des écosystèmes d'IA connectés. Le ver peut potentiellement voler des données et déployer des logiciels malveillants en exploitant des failles dans des systèmes d'IA générative tels que ChatGPT d'OpenAI et Gemini de Google. Les chercheurs ont démontré comment le ver peut attaquer un assistant de messagerie IA génératif en utilisant des invites adverses auto-reproductibles, similaire à des attaques traditionnelles par injection. Bien que les tests aient été réalisés dans des environnements contrôlés, les experts mettent en garde contre le risque futur de vers d'IA génératifs, soulignant la nécessité de mesures de sécurité renforcées pour prévenir de telles attaques. Les créateurs d'IA générative peuvent se défendre en adoptant des approches de sécurité traditionnelles et en maintenant une surveillance humaine pour éviter des actions non approuvées par les agents d'IA. Les chercheurs estiment que les vers d'IA générative pourraient apparaître dans la nature d'ici deux à trois ans, mettant en lumière les défis de sécurisation des écosystèmes d'IA en constante évolution.
Au cours de l'année écoulée, de nombreuses entreprises ont intégré des capacités d'IA générative (GenAI) dans des applications nouvelles et existantes, formant des écosystèmes d'IA générative interconnectés composés d'agents semi-autonomes/entièrement autonomes alimentés par des services d'IA générative. Alors que les recherches en cours ont mis en évidence les risques associés à la couche d'agents GenAI (par exemple, interférence dans le dialogue, la fuite de la vie privée, le jailbreaking), une question cruciale se pose : Les cybercriminels peuvent-ils développer des logiciels malveillants pour exploiter la composante GenAI d'un agent et lancer des cyberattaques sur l'ensemble de l'écosystème d'IA générative ?
La nouvelle frontière des attaques cybernétiques génératives
Morris II est le premier ver conçu pour cibler les écosystèmes d'IA générative grâce à l'utilisation d'invites adverses qui se répliquent d'elles-mêmes. L'étude démontre que les cybercriminels peuvent insérer de telles invites dans des entrées qui, lorsqu'elles sont traitées par des modèles d'IA générative, incitent le modèle à reproduire l'entrée en sortie (réplication) et à s'engager dans des activités malveillantes (charge utile).
En outre, ces entrées obligent l'agent à les transmettre (propagation) à de nouveaux agents en exploitant la connectivité au sein de l'écosystème d'IA générative. Les chercheurs démontrent l'application de Morris II contre les assistants de messagerie alimentés par l'IA générative dans deux cas d'utilisation (spamming et exfiltration de données personnelles), dans deux contextes (accès boîte noire et boîte blanche), en utilisant deux types de données d'entrée (texte et images). Le ver est testé contre trois modèles d'IA générative différents (Gemini Pro, ChatGPT 4.0 et LLaVA), et divers facteurs (par exemple, le taux de propagation, la réplication, l'activité malveillante) influençant les performances du ver sont évalués.
L'intelligence artificielle générative constitue une avancée révolutionnaire dans le domaine de l'intelligence artificielle, caractérisée par sa capacité à générer de manière autonome un contenu original. Utilisant des méthodologies sophistiquées d'apprentissage automatique, reposant souvent sur des réseaux neuronaux profonds, l'intelligence artificielle générativepeut traiter et produire diverses formes de contenu, y compris du texte, des images, du son et des vidéos. Grâce à son potentiel polyvalent, l'intelligence artificielle générative s'est infiltrée dans divers secteurs, notamment les arts créatifs, les chatbots et la finance.
Sa capacité à créer des résultats réalistes et adaptés au contexte a incité les entreprises à intégrer de manière transparente l'intelligence artificielle générative dans une série de produits et de plateformes existants. Cette intégration vise à automatiser la génération de contenu, réduire les interactions inutiles avec l'utilisateur et rationaliser les tâches complexes.
L'adoption généralisée de l'intelligence artificielle générative dans les produits établis et émergents, tels que les chatbots les assistants virtuels, a donné naissance à des écosystèmes composés d'agents alimentés par la GenAI. Ces applications semi-autonomes/entièrement autonomes s'interfacent avec des services d'intelligence artificielle distants/locaux, acquérant ainsi des capacités nécessaires à la compréhension du contexte et à la prise de décision avec une intervention minimale ou inexistante de l'utilisateur.
À mesure que l'écosystème de l'intelligence artificielle continue d'évoluer, il devient crucial de garantir la sécurité des agents alimentés par l'intelligence artificielle afin d'atténuer les risques potentiels et de garantir la sécurité de l'utilisateur.
Morris II est un ver qui cible les écosystèmes d'intelligence artificielle, se réplique en exploitant le service d'intelligence artificielle utilisé par les écosystèmes GenAI. Aujourd'hui, dans une démonstration des risques liés aux écosystèmes d'IA connectés et autonomes, un groupe de chercheurs a créé l'un des premiers vers d'IA génératifs, qui peut se propager d'un système à l'autre et potentiellement voler des données ou déployer des logiciels malveillants au cours du processus. « Cela signifie essentiellement que vous avez désormais la capacité de mener ou d'exécuter un nouveau type de cyberattaque qui n'a jamais été vu auparavant », explique Ben Nassi, un chercheur de Cornell Tech à l'origine de la recherche.
Un ver GenAI basé sur la RAG cible les agents (applications) alimentés par la GenAI qui exploitent la génération augmentée (RAG) pour améliorer les requêtes envoyées au service GenAI...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.