DeepSeek peut être persuadé de produire du code malveillant : les entreprises doivent prendre des mesures urgentes face aux risques d'exposition des données,

Selon Tenable

DeepSeek peut être persuadé de produire du code malveillant : les entreprises doivent prendre des mesures urgentes face aux risques d'exposition des données,
selon Tenable

L'essor des modèles d'IA générative, tels que DeepSeek, soulève des questions cruciales quant à leur capacité à produire du code malveillant malgré les garde-fous mis en place. Bien que ces modèles soient conçus pour éviter de générer des contenus nuisibles, des recherches récentes, comme celles menées par Nick Miles et Satnam Narang de Tenable, démontrent que ces protections peuvent être contournées par des techniques d'ingénierie des prompts. Par exemple, DeepSeek R1, un modèle récent, peut être « gentiment persuadé » de générer des rançongiciels en invoquant des contextes éducatifs ou légitimes. Cependant, le code produit nécessite souvent des ajustements manuels pour être fonctionnel, ce qui limite son utilisation immédiate par des acteurs malveillants peu expérimentés.

Ces découvertes mettent en lumière les tensions entre les potentialités techniques de l'IA et les impératifs éthiques. D'un côté, les modèles comme DeepSeek offrent une base de connaissances et des techniques utiles pour les développeurs, y compris ceux ayant des intentions malveillantes. De l'autre, les limitations actuelles de ces systèmes, comme leur incapacité à produire du code malveillant parfaitement opérationnel dès la première tentative, tempèrent les craintes d'une prolifération immédiate de cybermenaces sophistiquées. Néanmoins, l'évolution rapide de ces technologies, couplée à l'émergence de modèles spécialisés comme WormGPT ou FraudGPT, suggère que les risques pourraient s'intensifier à l'avenir.


Le mois dernier, l'IA de DeepSeek a été critiquée pour avoir généré des contenus dangereux, tels que des instructions pour créer des armes biologiques, des e-mails de phishing intégrant du code malveillant, ou encore des campagnes sur les réseaux sociaux incitant les adolescents à l'automutilation. Les experts ont souligné que le modèle manquait de protections robustes, le rendant plus vulnérable au piratage que d'autres systèmes d'IA.

Les données de Tenable révèlent qu'en 2023, les mauvaises configurations et les bases de données non sécurisées ont été à l'origine de 5,8 % des violations de données, mais ont contribué à exposer 74 % des 7,6 milliards d'enregistrements compromis. Ces chiffres mettent en lumière l'impact dévastateur des erreurs de configuration sur la protection des informations sensibles et des données personnelles.

Parallèlement, les grands modèles de langage (LLM) adaptés à la cybercriminalité sont de plus en plus utilisés pour perfectionner les techniques des escrocs et des cybercriminels. Ces outils améliorent les textes utilisés dans les campagnes de phishing, les fraudes financières ou même la création de logiciels malveillants. « Bien qu'il soit encore trop tôt pour tirer des conclusions définitives, je ne serais pas surpris de voir émerger une vague de wrappers basés sur DeepSeek, conçus spécifiquement pour la cybercriminalité, ou d'observer des cybercriminels exploitant ces modèles existants pour développer des outils sur mesure répondant à leurs besoins », a déclaré Narang.

L’IA générative face aux défis de la création de logiciels malveillants

Depuis que les modèles d’IA générative sont devenus largement accessibles en 2023, des craintes ont émergé quant à leur potentiel d’être utilisés pour créer des logiciels malveillants sophistiqués, capables de causer des dommages variés et d’échapper aux systèmes de détection les plus avancés. Certains ont même imaginé des scénarios inquiétants, comme la génération de codes polymorphes capables de s’adapter dynamiquement à l’environnement de la victime.

Cependant, la réalité s’est avérée bien différente. Initialement, les experts étaient sceptiques quant à la capacité de ces technologies à produire des logiciels malveillants efficaces. Près de deux ans plus tard, l’IA générative (GenAI) reste incapable de générer du code malveillant pleinement fonctionnel du premier coup, malgré les multiples tentatives. Comme l’a souligné l’équipe de Tenable, les cybercriminels ont développé leurs propres modèles, dépourvus de garde-fous éthiques. Des exemples tels que WormGPT, FraudGPT, Evil-GPT, WolfGPT, EscapeGPT et GhostGPT illustrent cette tendance, certains de ces modèles ayant même précédé de plusieurs années des lancements grand public comme ChatGPT.

Si certains de ces modèles prétendent générer des logiciels malveillants, d’autres se concentrent sur la création d’e-mails d’hameçonnage convaincants, capables de contourner les filtres anti-spam. Aucun n’est parfait, bien que certains soient vendus à des prix élevés, atteignant plusieurs centaines de dollars. Les recherches de Tenable sur DeepSeek, bien que révélatrices, ne sont pas révolutionnaires. Par exemple, l’Unité 42 a démontré dès janvier qu’il était possible de contourner les protections de DeepSeek (un processus appelé jailbreaking), bien que ses capacités à générer des logiciels malveillants n’aient pas été explorées en profondeur.

Pour les cybercriminels débutants réticents à investir dans des modèles spécialisés, des listes de prompts permettant de jailbreaker des chatbots classiques sont disponibles à moindre coût. Selon Kaspersky, des centaines de ces listes étaient en vente l’année dernière. Si le grand public n’a pas encore accès à des générateurs de logiciels malveillants à la demande, les États-nations bien équipés pourraient, eux, en tirer parti.

Le National Cyber Security Centre (NCSC) du Royaume-Uni prévoit que d’ici fin 2025, l’influence de l’IA sur les outils cyberoffensifs pourrait devenir significative. En janvier 2024, le NCSC a reconnu que, bien que les menaces de logiciels malveillants générés par IA aient été largement minimisées, il reste possible de créer des codes malveillants capables de contourner les défenses, à condition de disposer de données d’exploitation de haute qualité, que certains États pourraient déjà détenir. Le NCSC exprime une préoccupation croissante face à cette technologie, estimant que l’IA ne deviendra véritablement avancée qu’à partir de 2026, mais que ses applications potentielles dépassent largement la simple création de logiciels malveillants.

L’IA pourrait, par exemple, être utilisée pour identifier les systèmes les plus vulnérables lors de la phase de reconnaissance d’une attaque, ou pour cibler les données les plus précieuses dans le cadre d’une attaque par ransomware. Les cybercriminels l’utilisent déjà pour perfectionner leurs campagnes d’hameçonnage, et les plus ambitieux pourraient même développer leurs propres outils, à condition d’y consacrer suffisamment de temps et de ressources. Ainsi, bien que l’IA générative ne soit pas encore une arme redoutable, son potentiel d’évolution en fait un enjeu majeur pour la cybersécurité.

Enfin, les préoccupations des institutions, telles que le National Cyber Security Centre (NCSC) du Royaume-Uni, soulignent que l'IA pourrait jouer un rôle croissant dans les cyberattaques, notamment en optimisant la reconnaissance des systèmes vulnérables ou en améliorant les campagnes d'hameçonnage. Si les modèles grand public ne sont pas encore des outils de cybercriminalité à part entière, leur potentiel d'abus, surtout entre les mains d'États ou de groupes bien financés, reste une menace sérieuse. Ainsi, bien que l'IA générative ne soit pas encore une arme redoutable, elle représente un défi majeur pour la sécurité numérique, nécessitant une vigilance accrue et des régulations adaptées.

Les promesses et les dangers de l’IA générative dans la cybersécurité

L'essor des modèles d'IA générative, comme DeepSeek, soulève des enjeux éthiques et techniques majeurs, notamment en ce qui concerne leur capacité à produire du code malveillant malgré les garde-fous mis en place. Les recherches récentes, telles que celles de Nick Miles et Satnam Narang de Tenable, montrent que ces protections peuvent être contournées grâce à des techniques d'ingénierie des prompts. Par exemple, DeepSeek R1 peut être « gentiment persuadé » de générer des rançongiciels en invoquant des contextes éducatifs ou légitimes. Cependant, le code produit nécessite souvent des ajustements manuels pour être pleinement fonctionnel, ce qui limite son utilisation immédiate par des acteurs malveillants peu expérimentés.

Ces découvertes illustrent une tension fondamentale entre les potentialités techniques de l'IA et les impératifs éthiques. D'un côté, ces modèles offrent une base de connaissances et des outils précieux pour les développeurs, y compris ceux ayant des intentions malveillantes. De l'autre, les limitations actuelles, comme l'incapacité à générer du code malveillant opérationnel du premier coup, tempèrent les craintes d'une prolifération immédiate de cybermenaces sophistiquées. Cependant, l'évolution rapide de ces technologies, combinée à l'émergence de modèles spécialisés comme WormGPT ou FraudGPT, laisse entrevoir un avenir où les risques pourraient s'intensifier.

Il est important de noter que les tentatives de restreindre l'accès à certaines connaissances via des mécanismes de censure ou de filtrage sont souvent vaines. Comme le soulignent certains commentaires, il est toujours possible de reformuler des questions ou d'utiliser des techniques d'ingénierie des prompts pour contourner ces restrictions. Cela rappelle les limites des « lois des robots » ou des protections superficielles, qui peuvent être facilement transgressées par des acteurs déterminés.


Enfin, bien que l'IA générative ne soit pas encore une arme redoutable pour les cybercriminels, son potentiel d'évolution en fait un enjeu majeur pour la cybersécurité. Les États-nations et les acteurs bien équipés pourraient tirer parti de ces technologies pour développer des outils offensifs sophistiqués. Par conséquent, il est crucial de renforcer les garde-fous éthiques et techniques tout en anticipant les usages malveillants possibles. L'IA générative représente à la fois une opportunité et un défi, nécessitant une vigilance accrue et une régulation adaptée pour prévenir les abus tout en encourageant l'innovation.

Source : Tenable

Et vous ?

Quel est votre avis sur le sujet ?

Quelles mesures réglementaires pourraient être mises en place pour limiter l'utilisation abusive des modèles d'IA générative ?

Qui est responsable lorsque des modèles d'IA comme DeepSeek sont utilisés pour générer du code malveillant ? Les développeurs, les entreprises qui les déploient, ou les utilisateurs qui exploitent ces failles ?

Voir aussi :

L'IA DeepSeek est accusée d'avoir généré des instructions pour une attaque à l'arme biologique et d'avoir conçu des courriels d'hameçonnage contenant un code malveillant

L'application iOS DeepSeek envoie des données non chiffrées à des serveurs contrôlés par ByteDance, maison-mère de TikTok, selon des chercheurs de NowSecure

DeepSeek a envoyé des données d'utilisateurs à la société chinoise ByteDance, selon une enquête coréenne, ce qui a poussé la Corée du Sud à retirer le chatbot d'IA des magasins d'applications