Des chercheurs en sécurité de Cisco ont découvert que le modèle d'IA de raisonnement R1 de DeepSeek est étonnamment vulnérable au jailbreaking. Les chercheurs ont constaté que DeepSeek "n'a pas réussi à bloquer une seule invite nuisible" après avoir été testé contre "50 invites aléatoires de l'ensemble de données HarmBench", qui comprend "la cybercriminalité, la désinformation, les activités illégales et les préjudices généraux." Il s'agit d'un développement particulièrement remarquable si l'on considère l'ampleur du chaos que DeepSeek a semé dans l'industrie de l'IA dans son ensemble.La sortie de DeepSeek R1 a provoqué une onde de choc dans la communauté de l'IA, un modèle open-source peu coûteux et très performant. Selon le benchmark de la startup, les performances du modèle correspondraient au modèle de raisonnement o1 d'OpenAI pour seulement 3 à 5 % du coût. Cependant, il se peut qu'elle ait un problème de sécurité en matière d'IA, selon Cisco.
L'équipe de recherche de Cisco a utilisé des techniques algorithmiques de jailbreaking pour tester DeepSeek R1 "contre 50 invites aléatoires de l'ensemble de données HarmBench", couvrant six catégories de comportements nuisibles, notamment la cybercriminalité, la désinformation, les activités illégales et le préjudice général. "Les résultats sont alarmants : DeepSeek R1 a affiché un taux de réussite de 100 %, ce qui signifie qu'il n'a pas réussi à bloquer une seule invite nuisible", explique Cisco. "Cela contraste fortement avec d'autres modèles de pointe, qui ont démontré une résistance au moins partielle." D'autres modèles pionniers, tels que o1, ont bloqué une majorité d'attaques adverses avec leurs garde-fous, selon Cisco.
Les chercheurs de Cisco soulignent que le budget très inférieur de DeepSeek par rapport à celui de ses rivaux pourrait expliquer ces échecs, affirmant que son développement bon marché a eu un "coût différent : la sûreté et la sécurité". DeepSeek affirme que le développement de son modèle n'a nécessité que 6 millions de dollars, alors qu'un entraînement de six mois pour GPT-5 d'OpenAI, qui n'est pas encore disponible, "peut coûter environ un demi-milliard de dollars rien qu'en frais de calcul".
Ce rapport de Cisco n'est pas le premier problème de sécurité de la startup chinoise. Récemment, Wiz Research a identifié une base de données ClickHouse accessible au public et appartenant à DeepSeek, qui permet un contrôle total des opérations de la base de données, y compris la possibilité d'accéder à des données internes. L'exposition comprend plus d'un million de lignes de flux de données contenant l'historique des discussions, des clés secrètes, des détails de backend et d'autres informations très sensibles. L'équipe de Wiz Research a révélé le problème à DeepSeek, qui aurait rapidement sécurisé l'exposition.
Outre le domaine de la sécurité, DeepSeek est accusé d'appliquer une censure stricte sur des sujets politiquement sensibles en Chine. Les utilisateurs ont vu le chatbot chinois répondre, puis se censurer en temps réel. Pour certains critiques, il s'agit d'un aperçu saisissant du contrôle exercé par la Chine sur l'information, mais d'autres rappellent que n'importe qui peut télécharger le modèle open source de DeepSeek et l'adapter pour supprimer les restrictions de Pékin.
Évaluation du risque de sécurité de DeepSeek
La construction et l'entraînement des modèles d'IA de pointe actuels nécessitent des centaines de millions de dollars et d'énormes ressources informatiques, malgré les progrès réalisés ces dernières années en matière de rentabilité et de calcul. Avec ses modèles, DeepSeek a obtenu des résultats comparables à ceux des modèles de pointe avec une fraction présumée des ressources.
Les dernières versions de DeepSeek - en particulier DeepSeek R1-Zero (qui aurait été formé uniquement avec l'apprentissage par renforcement) et DeepSeek R1 (qui affine R1-Zero à l'aide de l'apprentissage supervisé) - montrent que l'accent est mis sur le développement de LLM dotés de capacités de raisonnement avancées. Leurs recherches montrent des performances comparables à celles des modèles o1 d'OpenAI tout...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par noremorse
