L'IA DeepSeek est accusée d'avoir généré des instructions pour une attaque à l'arme biologique et d'avoir conçu des courriels d'hameçonnage contenant un code malveillant

L'IA DeepSeek est accusée d'avoir généré des instructions pour une attaque à l'arme biologique et d'avoir conçu des courriels d'hameçonnage contenant un code malveillant.

L'IA de DeepSeek est accusée de générer des contenus nuisibles, notamment des instructions pour des armes biologiques, d'avoir conçu des courriels d'hameçonnage contenant un code malveillant ou d'avoir créé des campagnes sur les médias sociaux pour inciter les adolescents à s'automutiler. Les experts ont constaté qu'elle manquait de garanties, ce qui la rendait plus facile à pirater que d'autres modèles d'IA.

La sortie de DeepSeek R1 a provoqué une onde de choc dans la communauté de l'IA, bouleversant les hypothèses sur ce qui est nécessaire pour atteindre des performances d'IA de pointe. Ce modèle open-source, qui correspondrait à l'o1 d'OpenAI pour seulement 3 à 5 % du coût selon le benchmark de la startup éponyme, a non seulement captivé les développeurs, mais a également incité les entreprises à repenser leurs stratégies en matière d'IA.

Cependant, DeepSeek, qui est basé en Chine, a été accusé de générer des informations nuisibles sur les armes biologiques. Le Wall Street Journal a rapporté que l'application est capable de produire des matériaux potentiellement dangereux, contrairement à certains de ses homologues.

Les tests effectués par les experts du journal ont révélé que DeepSeek fournissait des instructions pour une attaque à l'arme biologique et pouvait également créer un courriel de phishing contenant un code de logiciel malveillant. En utilisant un jailbreak, les experts en sécurité de l'IA ont découvert qu'il pouvait également générer des instructions pour modifier la grippe aviaire, ainsi que créer une campagne de médias sociaux sur l'automutilation chez les adolescents. Certains analystes en ligne ont affirmé qu'ils avaient réussi à pirater DeepSeek pour qu'il génère des recettes de Quaaludes et de méthamphétamines.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">🌩️ JAILBREAK ALERT 🌩️<br><br>DEEPSEEK: PWNED ✌️<br>DEEPSEEK-R1: LIBERATED 🗽<br><br>Hot off the presses, this new open source reasoning model is allegedly on par with OpenAI's o1! Guardrails are quite light here, so let's jump into the fun ☺️<br><br>Got a Quaalude recipe, WAP lyrics, malware, and a… <a href="https://t.co/kIa0R5mC7L">pic.twitter.com/kIa0R5mC7L</a></p>— Pliny the Liberator 🐉 (@elder_plinius) <a href="https://twitter.com/elder_plinius/status/1881375272379023731?ref_src=twsrc%5Etfw">January 20, 2025</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Les développeurs d'entreprises concurrentes, comme OpenAI et Meta, ont déjà mis en place des mesures de protection pour empêcher que leur technologie ne soit utilisée pour produire des réponses illicites. Ces tactiques sont appelées "jailbreaking".

Ce n'est pas la première fois que des recherches ont révélé les problèmes de sécurité de l'IA DeepSeek. Le PDG d'Anthropic, Dario Amodei, a fait l'écho de ces conclusions. Il a déclaré que les analystes d'Anthropic pouvaient faire en sorte que DeepSeek produise des informations sur les armes biologiques. Il a déclaré que la technologie de DeepSeek était "la pire de tous les modèles que nous avons testés", ajoutant qu'elle "n'avait absolument aucun obstacle à la production de ces informations".

Anthropic, une entreprise spécialisée dans la recherche sur la sécurité de l'IA, teste régulièrement des modèles d'IA afin d'identifier les risques éventuels. Amodei a fait part de ses réflexions sur DeepSeek, affirmant qu'il ne pense pas que ses modèles soient actuellement dangereux lorsqu'il s'agit de générer des informations rares et préjudiciables, mais que cela pourrait bientôt changer. Tout en reconnaissant que l'équipe de DeepSeek est composée d'"ingénieurs talentueux", il l'a également invitée à "prendre au sérieux ces considérations sur la sécurité de l'IA".

Dans un billet de blog publié en janvier, Amodei a ajouté : "Combiné à son importante base industrielle et à ses avantages militaro-stratégiques, cela pourrait aider la Chine à prendre une place prépondérante sur la scène mondiale, non seulement pour l'IA, mais pour tout le reste."


Un rapport de Cisco avait également soulevé la faiblesse de la sécurité du modèle DeepSeek. L'équipe de recherche de Cisco a notammen utilisé des techniques algorithmiques de jailbreaking pour tester DeepSeek R1 "contre 50 invites aléatoires de l'ensemble de données HarmBench", couvrant six catégories de comportements nuisibles, notamment la cybercriminalité, la désinformation, les activités illégales et le préjudice général.

"Les résultats sont alarmants : DeepSeek R1 a affiché un taux de réussite de 100 %, ce qui signifie qu'il n'a pas réussi à bloquer une seule invite nuisible", explique Cisco. "Cela contraste fortement avec d'autres modèles de pointe, qui ont démontré une résistance au moins partielle." Les chercheurs de Cisco soulignent que le budget très inférieur de DeepSeek par rapport à celui de ses rivaux pourrait expliquer ces échecs, affirmant que son développement bon marché a eu un "coût différent : la sûreté et la sécurité".

Pourtant, DeepSeek a gagné en popularité en dépassant ChatGPT en termes de téléchargements sur l'App Store d'Apple à la fin du mois dernier. Le modèle R1 a été très apprécié pour son efficacité et sa capacité à concurrencer le modèle o1 d'OpenAI, éditeur de ChatGPT, qui coûte 200 dollars par mois.

Source : Wall Street Journal

Et vous ?

Pensez-vous que cette recherche est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

DeepSeek est victime d'une cyberattaque et limite les inscriptions : la startup chinoise spécialisée dans l'IA a déclaré avoir été victime d'une "attaque malveillante à grande échelle" contre ses services

L'application d'IA de DeepSeek sera « très probablement » interdite aux États-Unis, selon Jefferies, elle est déjà partiellement ou totalement interdite en Italie, Australie, Taïwan et Corée du Sud

Anthropic a mis au point une nouvelle méthode pour protéger les LLM contre les piratages. Cette défense pourrait être la plus puissante à ce jour, mais aucun bouclier n'est parfait