Le NIST publie sur GitHub la plateforme open-source Dioptra pour tester la sécurité de l'IA face à différents types d'attaques. L'objectif du NIST est de promouvoir l'IA digne de confiance, c'est-à-dire, une IA valide et fiable, sûre, sécurisée et résiliente, responsable et transparente, explicable et interprétable, respectueuse de la vie privée et équitable, les biais nuisibles étant gérés. Dioptra fournit des fonctionnalités pour évaluer, analyser et suivre les risques identifiés liés à l'IA.L'utilisation croissante de l'intelligence artificielle (IA) au 21e siècle entraîne une évolution sociétale et économique vers une automatisation accrue, une prise de décision fondée sur les données et l'intégration des systèmes d'IA dans divers secteurs économiques et domaines de la vie, ce qui a un impact sur les marchés de l'emploi, les soins de santé, le gouvernement, l'industrie, l'éducation, la propagande et la désinformation. Cette évolution soulève des questions sur les effets à long terme, les implications éthiques et les risques de l'IA, ce qui suscite des discussions sur les politiques réglementaires visant à garantir la sécurité et les avantages de la technologie.
Le National Institute of Standards and Technology (NIST) vient de publier une plateforme open-source pour les tests de sécurité de l'IA. Le NIST est l'agence du ministère américain du commerce dont la mission est de promouvoir l'innovation et la compétitivité industrielle des États-Unis. Le nouvel outil logiciel open-source du NIST permet de tester la résilience des modèles d'apprentissage machine (ML) à différents types d'attaques.
L'outil, connu sous le nom de Dioptra, a été publié en même temps que de nouvelles orientations du NIST sur l'IA, marquant le 270e jour depuis la signature du décret du président Joe Biden sur le développement sûr, sécurisé et digne de confiance de l'IA. L'outil Dioptra, disponible sur GitHub, répondra à l'exigence du décret selon laquelle le NIST doit aider à tester les modèles d'IA et soutient également la fonction de "mesure" du cadre de gestion des risques liés à l'IA du NIST.
"Le développement open source de Dioptra a commencé en 2022, mais il est resté à l'état de pré-version alpha jusqu'à vendredi dernier, le 26 juillet", a déclaré un porte-parole du NIST. "Les principales caractéristiques de la version alpha comprennent une nouvelle interface Web, l'authentification des utilisateurs et le suivi de la provenance de tous les éléments d'une expérience, ce qui permet la reproductibilité et la vérification des résultats."
Présentation de Dioptra : Logiciel de test pour la caractérisation des technologies de l'IA
Dioptra est une plateforme d'essai logicielle permettant d'évaluer les caractéristiques de fiabilité de l'intelligence artificielle (IA). Une IA digne de confiance est : valide et fiable, sûre, sécurisée et résiliente, responsable et transparente, explicable et interprétable, respectueuse de la vie privée et équitable - les biais nuisibles étant gérés. Dioptra soutient la fonction de mesure du cadre de gestion des risques de l'IA du NIST en fournissant des fonctionnalités permettant d'évaluer, d'analyser et de suivre les risques d'IA identifiés.
Dioptra fournit une API REST, qui peut être contrôlée via une interface web intuitive, un client Python ou toute bibliothèque client REST au choix de l'utilisateur pour la conception, la gestion, l'exécution et le suivi des expériences. La version 1.0.0 comprend des améliorations et des développements continus.
Actuellement, voici les principaux cas d'utilisation pour Dioptra :
- Test de modèle :
- 1ère partie - Évaluer les modèles d'IA tout au long du cycle de développement
- 2e partie - Évaluer les modèles d'IA pendant l'acquisition ou dans un environnement de laboratoire d'évaluation
- 3ème partie - Évaluer les modèles d'IA au cours des activités d'audit ou de conformité.
- Recherche : Aider les chercheurs en IA dignes de confiance à suivre les expériences
- Évaluations et défis : Fournir une plateforme et des ressources communes aux participants
- Red-Teaming : Exposer les modèles et les ressources à une équipe rouge dans un environnement contrôlé
Dioptra s'efforce d'obtenir les propriétés clés suivantes :
- Reproductible : Dioptra crée automatiquement des clichés (snapshots) des ressources afin que les expériences puissent être reproduites et validées.
- Traçable : L'historique complet des expériences et de leurs intrants est suivi.
- Extensible : Prise en charge de l'extension des fonctionnalités et de l'importation de paquets Python existants via un système de modules d'extension.
- Interopérable : Un système de types favorise l'interopérabilité entre les modules d'extension.
- Modulaire : De nouvelles expériences peuvent être composées à partir de composants modulaires dans un simple fichier yaml.
- Sécurisé : Dioptra assure l'authentification des utilisateurs avec des contrôles d'accès à venir
- Interactif : Les utilisateurs peuvent interagir avec Dioptra via une interface web intuitive.
- Partageable et réutilisable : Dioptra peut être déployé dans un environnement multi-tenant afin que les utilisateurs puissent partager et réutiliser les composants.
Instructions d'utilisation
Construire les conteneurs : La première étape de la mise en place de Dioptra est de cloner le référentiel et de construire les conteneurs docker pour les différents services qui font partie d'un déploiement.
Exécuter Dioptra : Une fois les conteneurs construits, l'étape suivante consiste à configurer le déploiement avec cruft et à exécuter Dioptra. En outre, vous pouvez ajouter des ensembles de données.
Enregistrement de l'utilisateur : Enregistrez un compte utilisateur avec votre instance de Dioptra via l'interface utilisateur. L'interface utilisateur est accessible via votre navigateur web à l'URL spécifiée lors de la création du déploiement.
Licence d'utilisation
Licence Creative Commons : Dioptra est mis à disposition en tant que service public par le National Institute of Standards and Technology (NIST), une agence du Département du commerce des États-Unis. Ce logiciel a été développé en partie par des employés du NIST et en partie par des sous-traitants du NIST. Les droits d'auteur sur les parties de ce logiciel développées par les sous-traitants du NIST ont été concédés sous licence ou cédés au NIST. Conformément à la section 105 du titre 17 du code des États-Unis, les travaux des employés du NIST ne sont pas protégés par le droit d'auteur aux États-Unis. Toutefois, le NIST peut détenir des droits d'auteur internationaux sur les logiciels créés par ses employés et des droits d'auteur nationaux (ou des droits de licence) sur des parties de logiciels qui ont été cédées ou concédées sous licence au NIST. Dans la mesure où le NIST détient des droits d'auteur sur ce logiciel, celui-ci est mis à disposition sous la licence Creative Commons Attribution 4.0 International (CC BY 4.0). Les clauses de non-responsabilité de la licence CC BY 4.0 s'appliquent à toutes les parties du logiciel développées ou concédées sous licence par le NIST.
Source : Présentation de Dioptra
Et vous ?
Pensez-vous qu'un tel outil est crédible ou pertinent ? Avez-vous utilisé cet outil ou un outil similaire, et si oui, quel est votre avis ?Voir aussi :
Les systèmes d'IA font face à des menaces croissantes : le NIST a identifié les différents types de cyberattaques qui manipulent le comportement des systèmes d'IA Créer des modèles d'IA « d'agent dormant » potentiellement dangereux qui trompent les contrôles de sécurité destinés à détecter les comportements nuisibles, une recherche d'Anthropic Les États-Unis vont lancer leur propre institut de sécurité de l'IA, afin d'évaluer les risques émergents des modèles d'IA avancés et de traiter les impacts connus