Les chercheurs de l'université de Chicago ont récemment présenté Nightshade 1.0, un outil qui se veut une réponse aux fabricants peu scrupuleux de modèles d'apprentissage automatique. Nightshade a pour objectif d'introduire des perturbations dans les fichiers d'images afin de générer des erreurs dans les modèles utilisant des données non autorisées, agissant ainsi comme une mesure de protection des droits d'auteur pour les créateurs. Bien que les chercheurs préconisent l'utilisation conjointe de Nightshade avec Glaze pour renforcer la défense de la propriété intellectuelle des artistes, il est important de souligner que Nightshade présente des limites, notamment des différences subtiles avec les images originales. Malgré ses objectifs louables, il est essentiel d'évaluer attentivement l'efficacité et les implications éthiques de Nightshade dans le paysage complexe de l'intelligence artificielle et de la protection des droits d'auteur.
À mesure que les systèmes d'intelligence artificielle (IA) continuent leur progression, le National Institute of Standards and Technology (NIST) vient de rendre public un rapport signalant une menace croissante : l'utilisation par des acteurs malveillants de l'apprentissage automatique pour contourner ces systèmes. Selon les conclusions de ce rapport, cette menace devrait vraisemblablement prendre de l'ampleur dans un avenir proche.
Le rapport met en lumière la possibilité pour les attaquants de délibérément perturber voire « empoisonner » les systèmes d'IA afin de les rendre dysfonctionnels. Il souligne également l'absence d'une défense infaillible que les développeurs peuvent mettre en place. Les informaticiens du National Institute of Standards and Technology (NIST) et leurs collaborateurs ont identifié ces vulnérabilités dans les domaines de l'IA et de l'apprentissage automatique dans une nouvelle publication.
Intitulé Adversarial Machine Learning : A Taxonomy and Terminology of Attacks and Mitigations, ce travail s'inscrit dans le cadre des efforts plus larges du NIST visant à soutenir le développement d'une IA digne de confiance. Il peut également contribuer à appliquer le cadre de gestion des risques de l'IA du NIST. Fruit d'une collaboration entre le gouvernement, le monde universitaire et l'industrie, ce document vise à familiariser les développeurs et utilisateurs de l'IA avec les types d'attaques possibles et les méthodes pour les atténuer, tout en soulignant qu'aucune solution miracle n'existe.
Apostol Vassilev, informaticien au NIST et l'un des auteurs de la publication, a déclaré : « Nous offrons une vue d'ensemble des techniques et méthodologies d'attaque qui englobent tous les types de systèmes d'IA. Nous décrivons également les stratégies d'atténuation actuelles mentionnées dans la littérature, mais ces défenses disponibles manquent actuellement de garanties solides quant à leur capacité à atténuer pleinement les risques. Nous encourageons la communauté à proposer de meilleures défenses. »
La transformation des images pour empêcher l'entraînement non autorisé des modèles d'IA
Depuis leur arrivée, les modèles d'IA générative et leurs formateurs ont démontré leur capacité à télécharger n'importe quel contenu en ligne pour l'entraînement des modèles. Pour les propriétaires et les créateurs de contenu, peu d'outils peuvent empêcher que leur contenu soit introduit dans un modèle d'IA générative contre leur volonté. Afin de remédier à cette asymétrie de pouvoir, les chercheurs de l'université de Chicago ont conçu et mis en œuvre Nightshade, un outil qui transforme n'importe quelle image en un échantillon de données inadapté à la formation de modèles.
Plus précisément, Nightshade transforme les images en échantillons « empoisonnés », de sorte que les modèles qui s'entraînent sur ces images sans consentement verront leurs modèles apprendre des comportements imprévisibles qui s'écartent des normes attendues, par exemple une invite qui demande l'image d'une vache volant dans l'espace pourrait obtenir à la place l'image d'un sac à main flottant dans l'espace....
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Bruno
