DeepSeek peut être persuadé de produire du code malveillant : les entreprises doivent prendre des mesures urgentes face aux risques d'exposition des données,

Selon Tenable

L'essor des modèles d'IA générative, tels que DeepSeek, soulève des questions cruciales quant à leur capacité à produire du code malveillant malgré les garde-fous mis en place. Bien que ces modèles soient conçus pour éviter de générer des contenus nuisibles, des recherches récentes, comme celles menées par Nick Miles et Satnam Narang de Tenable, démontrent que ces protections peuvent être contournées par des techniques d'ingénierie des prompts. Par exemple, DeepSeek R1, un modèle récent, peut être « gentiment persuadé » de générer des rançongiciels en invoquant des contextes éducatifs ou légitimes. Cependant, le code produit nécessite souvent des ajustements manuels pour être fonctionnel, ce qui limite son utilisation immédiate par des acteurs malveillants peu expérimentés.

Ces découvertes mettent en lumière les tensions entre les potentialités techniques de l'IA et les impératifs éthiques. D'un côté, les modèles comme DeepSeek offrent une base de connaissances et des techniques utiles pour les développeurs, y compris ceux ayant des intentions malveillantes. De l'autre, les limitations actuelles de ces systèmes, comme leur incapacité à produire du code malveillant parfaitement opérationnel dès la première tentative, tempèrent les craintes d'une prolifération immédiate de cybermenaces sophistiquées. Néanmoins, l'évolution rapide de ces technologies, couplée à l'émergence de modèles spécialisés comme WormGPT ou FraudGPT, suggère que les risques pourraient s'intensifier à l'avenir.


Le mois dernier, l'IA de DeepSeek a été critiquée pour avoir généré des contenus dangereux, tels que des instructions pour créer des armes biologiques, des e-mails de phishing intégrant du code malveillant, ou encore des campagnes sur les réseaux sociaux incitant les adolescents à l'automutilation. Les experts ont souligné que le modèle manquait de protections robustes, le rendant plus vulnérable au piratage que d'autres systèmes d'IA.

Les données de Tenable révèlent qu'en 2023, les mauvaises configurations et les bases de données non sécurisées ont été à l'origine de 5,8 % des violations de données, mais ont contribué à exposer 74 % des 7,6 milliards d'enregistrements compromis. Ces chiffres mettent en lumière l'impact dévastateur des erreurs de configuration sur la protection des informations sensibles et des données personnelles.

Parallèlement, les grands modèles de langage (LLM) adaptés à la cybercriminalité sont de plus en plus utilisés pour perfectionner les techniques des escrocs et des cybercriminels. Ces outils améliorent les textes utilisés dans les campagnes de phishing, les fraudes financières ou même la création de logiciels malveillants. « Bien qu'il soit encore trop tôt pour tirer des conclusions définitives, je ne serais pas surpris de voir émerger une vague de wrappers basés sur DeepSeek, conçus spécifiquement pour la cybercriminalité, ou d'observer des cybercriminels exploitant ces modèles existants pour développer des outils sur mesure répondant à leurs besoins », a déclaré Narang.

L’IA générative face aux défis de la création de logiciels malveillants

Depuis que les modèles d’IA générative sont devenus largement accessibles en 2023, des craintes ont émergé quant à leur potentiel d’être utilisés pour créer des logiciels malveillants sophistiqués, capables de causer des dommages variés et d’échapper aux systèmes de détection les plus avancés. Certains ont même imaginé des scénarios inquiétants, comme la génération de codes polymorphes capables de s’adapter dynamiquement à l’environnement de la victime.

Cependant, la réalité s’est avérée bien différente. Initialement, les experts étaient sceptiques quant à la capacité de ces technologies à produire des logiciels malveillants efficaces. Près de deux ans plus tard, l’IA générative (GenAI) reste incapable de générer du code malveillant pleinement fonctionnel du premier coup, malgré les multiples tentatives. Comme l’a souligné l’équipe de Tenable, les cybercriminels ont développé leurs propres modèles, dépourvus de garde-fous éthiques. Des exemples tels que WormGPT, FraudGPT, Evil-GPT, WolfGPT, EscapeGPT et GhostGPT illustrent cette tendance, certains de ces modèles ayant même précédé de plusieurs années des lancements grand public comme ChatGPT.

Si certains de ces modèles prétendent générer des logiciels malveillants, d’autres se concentrent sur la création d’e-mails d’hameçonnage convaincants, capables de contourner les filtres anti-spam. Aucun n’est parfait, bien que certains soient vendus à des prix élevés, atteignant...