Les modèles d'IA chinois comme DeepSeek surpassent les modèles américains comme Meta Llama dans des catégories spécifiques telles que la divulgation d'informations sensibles

D'après l'AI Trust Score de Tumeryk

Les modèles d'IA chinois comme DeepSeek surpassent les modèles américains comme Meta Llama dans des catégories spécifiques telles que la divulgation d'informations sensibles, d'après l'AI Trust Score de Tumeryk

Selon un nouveau score de confiance de l'IA présenté par Tumeryk, les modèles d'IA chinois comme DeepSeek sont plus performants que les modèles américains comme Llama de Meta dans des catégories spécifiques telles que la divulgation d'informations sensibles.

La solide performance de DeepSeek dans le score de confiance de l'IA de Tumeryk intervient après la sortie de DeepSeek R1 en janvier dernier, qui a perturbé le paysage de l'IA grâce à son rapport coût-efficacité. En effet, le LLM open source chinois DeepSeek R1 correspondrait à o1 d'OpenAI, mais avec un coût 95 % moins cher. Il a rapidement gagné en popularité auprès des développeurs et des entreprises, dépassant les téléchargements de l'Apple Store et remettant en question la domination établie d'OpenAI dans le secteur de l'IA.

Le nouveau score de confiance de l'IA (AI Trust Score) de Tumeryk évalue les modèles IA à travers neuf facteurs clés, dont les fuites de données, le contenu toxique, la véracité et la partialité. Cela permet aux RSSI de s'assurer que leurs déploiements d'IA sont sécurisés, conformes et dignes de confiance, et offre aux développeurs des solutions pour résoudre tout problème dans leurs applications d'IA.

« Pour les responsables de la sécurité des systèmes d'information et les professionnels de la sécurité, Tumeryk propose l'AI Trust Manager, une plateforme robuste pour la surveillance et la remédiation des applications d'IA. Cet outil offre un aperçu en temps réel des performances des systèmes IA, identifie les vulnérabilités et recommande des mesures exploitables pour renforcer la sécurité et la conformité », déclare Rohit Valia, PDG de Tumeryk. « En intégrant le gestionnaire de confiance IA, les organisations peuvent gérer les risques de manière proactive et s'assurer que leurs déploiements d'IA s'alignent sur les normes réglementaires et les directives éthiques. »


L'AI Trust Score examine neuf facteurs critiques : l'injection rapide, les hallucinations, la manipulation non sécurisée des résultats, la sécurité, la toxicité, la divulgation d'informations sensibles, la vulnérabilité de la chaîne d'approvisionnement, la sécurité psychologique et l'équité. L'évaluation de ces facteurs permet d'obtenir un score de confiance global allant de 0 à 1000, les scores les plus élevés indiquant une plus grande confiance.

Des évaluations récentes utilisant le modèle AI Trust Score ont révélé que certains modèles d'IA chinois, tels que DeepSeek, Alibaba et d'autres, présentent des normes de sécurité et de conformité plus élevées que ce qui avait été rapporté précédemment. Notamment, DeepSeek fonctionne sur des plateformes basées aux États-Unis, comme NVIDIA et SambaNova, ce qui garantit la sécurité des données et le respect des réglementations internationales.

Ces résultats remettent en question les perceptions dominantes et soulignent l'importance d'évaluations objectives et fondées sur des données dans l'industrie de l'IA. Par exemple, dans la catégorie de la divulgation d'informations sensibles, Deepseek NIM sur NVIDIA a obtenu un score de 910 contre 687 pour Anthropic Claude Sonnet 3.5 et 557 pour Meta Llama 3.1 405B.

Toutefois, malgré ces résultats, des évaluations antérieures ont montré que DeepSeek présentait certaines vulnérabilités en matière de sécurité. Lors de tests réalisés avec l'ensemble de données HarmBench, les chercheurs de Cisco ont en effet constaté que DeepSeek R1 échouait à tous les tests de sécurité et ne parvenait pas à bloquer les invites nuisibles. Selon les chercheurs, cela rend le modèle bien plus facile à tromper que ses rivaux, tels que ChatGPT, pour qu'il fournisse des informations potentiellement nuisibles.

Source : Tumeryk

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les résultats des évaluations menées par Tumeryk sont crédibles ou pertinents ?

Voir aussi :

Meta aurait mis en place des « cellules de crise » composées d'ingénieurs pour comprendre comment l'IA de DeepSeek peut battre tous les autres avec une fraction du prix

Meta accusée d'avoir téléchargé plus de 81,7 To de livres piratés pour entraîner son IA. Des courriels montrent qu'elle a tenté de le dissimuler en évitant les serveurs de Facebook lors du téléchargement

Retombées de DeepSeek : le sénateur républicain Josh Hawley veut mettre fin à toute collaboration entre les États-Unis et la Chine en matière de développement de l'IA, mais la proposition est controversée