Des chercheurs en cybersécurité ont remis en cause l'efficacité des tests actuels de sécurité de l'IA lors de la conférence DEF CON. Ils estiment que les méthodes actuelles de protection des systèmes d'IA sont fondamentalement défectueuses et nécessitaient une refonte complète. L'industrie de l'IA se base actuellement sur l'approche « red team », qui consiste à demander à des experts en cybersécurité de rechercher les vulnérabilités des systèmes d'IA. Mais les chercheurs affirment que cette approche est inefficace, car la documentation des modèles d'IA est fragmentée et les évaluations incluses dans la documentation sont inadéquates.Les experts appellent à changer l'approche en matière de sécurité de l'IA
La convention DEF CON a publié son rapport « Hackers’ Almanack », qui rassemble les résultats de l'édition 2024 de la conférence annuelle des chercheurs en sécurité (hackeurs). Le rapport a été produit conjointement avec la « Cyber Policy Initiative » de l'université de Chicago. Dans le rapport, les chercheurs formulent des recommandations à l'intention des décideurs politiques sur la sécurité des systèmes d'IA avancés, les ransomwares et le biohacking.
En ce qui concerne la sécurité de l'IA, les chercheurs ont déclaré que les méthodes sur lesquelles les entreprises se basent actuellement pour sécuriser leurs systèmes d'IA ne fonctionnent pas. Les entreprises mettent actuellement l'accent sur la « red team » (équipe rouge) pour assurer la sécurité des modèles d'IA. L'équipe rouge est chargée de rechercher et corriger les vulnérabilités dans les systèmes d'IA pour permettre à leurs créateurs de les corriger.
Près de 500 personnes ont participé au programme Generative Red Team (GRT) lors de la convention. Le rapport indique qu'il s'agissait de la deuxième édition du programme Generative Red Team. Les participants ont été invités à améliorer l'évaluation des modèles d'IA et même les personnes qui participaient pour la première fois ont été en mesure de trouver des vulnérabilités. Sven Cattell, responsable du AI Village à la DEF CON, écrit dans le rapport :
Envoyé par Sven Cattell
Après avoir dirigé les deux premières éditions du Generative Red Team à DEF CON 31 et 32, je pense que l'accent mis sur l'équipe rouge de l'IA ne tient pas compte de la forêt pour les arbres. Il n'est pas possible d'organiser une équipe rouge publique sur un modèle d'IA parce que la documentation sur ce que ces modèles sont censés faire est fragmentée et que les évaluations que nous incluons dans la documentation sont inadéquates.
Les fiches de modèle étaient censées être le document de description, mais dans la plupart des cas, elles ne remplissent tout simplement pas cet objectif. Les évaluations, réalisées en grande partie par des chercheurs et axées sur des questions techniques, passent également à côté de nombreux aspects du domaine auquel elles sont destinées.
Selon Sven Cattell, pour concevoir une IA efficace, sans hallucination, sans parti pris et sans vulnérabilité à l'injection, il faut d'abord réfléchir à ce que ces systèmes d'IA sont censés faire (ou ne pas faire) de manière systématique, ce qui nécessitera une conception, une définition et des tests.
Les chercheurs affirment qu'il faut redéfinir l'objectif de la sécurité de l'IA
Sven Cattell estime qu'il est important de changer la façon dont la communauté de la sécurité perçoit l'équipe rouge de l'IA. Le terme est confus et désordonné et il y a deux problèmes distincts ici. Le premier est que la communauté de la sécurité au sens large ne comprend pas la sécurité de l'IA. L'objectif de la sécurité de l'IA n'est pas de rendre impossible le piratage d'un système, mais de faire en sorte que ce piratage soit coûteux et de courte durée.
Sven...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.