Des scientifiques explorent une méthode visant empêcher le vol de données pour l'entraînement de l'IA : polluer les graphes de connaissances. Leur technique permet de rendre inutilisables les données de grande valeur volées utilisées dans les systèmes d'IA. Elle consiste notamment à injecter des données plausibles, mais fausses dans ce qu'on appelle un « graphe de connaissances » créé par un opérateur d'IA. Cette technique antivol n'est pas entièrement une nouveauté. La nouveauté ici réside dans le fait que les utilisateurs autorisés disposent d'une clé secrète qui filtre les données falsifiées afin que la réponse du modèle à une requête soit utilisable.Des chercheurs affiliés à des universités chinoises et singapouriennes ont mis au point une technique permettant de rendre inutilisables les données de graphes de connaissances (KG) volées si elles sont intégrées sans autorisation dans un système d'IA GraphRAG. Ils ont décrit leur technique dans un article préliminaire intitulé « Making Theft Useless: Adulteration-Based Protection of Proprietary Knowledge Graphs in GraphRAG Systems » sur arXiv.
Les chercheurs ont baptisé cet outil AURA (Active Utility Reduction via Adulteration). D'après l'équipe, AURA dégrade les performances des systèmes non autorisés à une précision de seulement 5,3 %, tout en conservant une fidélité de 100 % pour les utilisateurs autorisés, avec une « surcharge négligeable ».
Ils affirment également qu'AURA résiste à diverses tentatives de nettoyage par un attaquant, conservant 80,2 % des adultérants injectés pour la défense, et que les fausses données qu'il crée sont difficiles à détecter. Pourquoi tout cela est-il important ? En raison du fait que les graphes de connaissances contiennent souvent la propriété intellectuelle très sensible d'une organisation (comme Pfizer ou Siemens), elles constituent une cible de choix.
Comprendre le fonctionnement du mécanisme « AURA »
AURA est essentiellement un outil permettant d'empoisonner ou d'altérer subtilement les données qui entrent dans un graphe de connaissance, de sorte que leur récupération précise nécessite une clé secrète. L'objectif de cet outil n'est pas d'empêcher l'accès au texte en clair, mais plutôt de dégrader les réponses du graphe de connaissances aux LLM, de sorte que les prédictions faites sans la clé produisent une précision réduite et des hallucinations.
L'injection de données corrompues dans un système de données pour le protéger contre le vol n'est pas une nouveauté. La nouveauté d'AURA réside dans le fait que les utilisateurs autorisés disposent d'une clé secrète qui filtre les données falsifiées afin que la réponse du modèle à une requête soit utilisable.
Mais si le graphe de connaissances est volé, il est inutilisable par l'attaquant à moins qu'il ne connaisse la clé, car les données falsifiées seront récupérées comme contexte, ce qui entraînera une détérioration du raisonnement du modèle et conduira à des réponses factuellement incorrectes. Les auteurs ont testé leur technique en créant des grappes de connaissances falsifiés à l'aide des ensembles de données MetaQA, WebQSP, FB15K-237 et HotpotQA.
Ils ont tenté de déployer des systèmes GraphRAG en utilisant ces grappes de connaissances empoisonnés en conjonction avec divers modèles (GPT-4o, Gemini-2.5-flash, Llama-2-7b et Qwen-2.5-7b). Les résultats indiquent que leur outil AURA est très efficace. Les modèles ont récupéré du contenu falsifié dans 100 % des cas et ont émis des réponses incorrectes aux utilisateurs sur la base de ces informations erronées dans au moins 94 % des cas.
Cette technique de protection souffre de quelques limites
Dans certains cas, le graphe de connaissances peut contenir à la fois des données correctes et incorrectes sur un sujet, et le modèle peut choisir la bonne réponse. Il existe des techniques pour détoxifier les données corrompues. Mais leur approche résiste principalement aux contrôles basés sur la cohérence sémantique (par exemple Node2Vec), sur la détection d'anomalies basée sur des graphes (ODDBALL) et sur des approches hybrides (comme SEKA).
D'autres approches, telles que le tatouage numérique, peuvent être utiles pour rendre le vol de données traçable, mais elles ne permettent pas de lutter contre l'utilisation abusive des données volées dans un cadre privé. Les auteurs de l'étude affirment également que le chiffrement traditionnel n'est pas pratique.
« Le chiffrement complet du texte et des intégrations nécessiterait le déchiffrement d'une grande partie du graphe pour chaque requête. Ce processus entraîne une surcharge de calcul et une latence prohibitives, ce qui le rend inadapté à une utilisation dans le monde réel », affirment les chercheurs.
Les réactions dans la communauté après l'annonce d'AURA
AURA a suscité des réactions mitigées dans la communauté. Pour certains, AURA pose quelques problèmes. « L’altération des données n'a jamais vraiment bien fonctionné », affirme Bruce Schneier, responsable de l'architecture de sécurité chez Inrupt Inc. et chercheur et conférencier à la Kennedy School de Harvard. « Les honeypots ne sont pas mieux. C'est une idée astucieuse, mais je ne la considère que comme un système de sécurité auxiliaire ».
D'autres critiques affirment toutefois que le cadre AAURA constitue une solution exploitable. Joseph Steinberg, consultant américain en cybersécurité et en IA, a déclaré que « d'une manière générale, cela pourrait fonctionner pour toutes sortes de systèmes, qu'ils soient basés ou non sur l'IA ».
« Ce n'est pas un concept nouveau. Certaines parties le font [injecter de mauvaises données à des fins de défense] avec des bases de données depuis de nombreuses années », a-t-il souligné. Il a expliqué qu'une base de données peut être marquée d'un filigrane afin que, si elle était volée et qu'une partie de son contenu était utilisée par la suite (un faux numéro de carte de crédit, par exemple), les enquêteurs puissent savoir d'où provenait cette donnée.
Mais contrairement au filigrane, qui ajoute un seul enregistrement erroné à une base de données, AURA contamine l'ensemble de la base de données. Selon lui, AURA n'est peut-être pas utile dans certains modèles d'IA si les données du graphe de connaissances n'étaient pas sensibles. La véritable question qui reste sans réponse est de savoir quel serait le compromis réel entre les performances des applications et la sécurité si AURA était utilisé.
La question du piratage informatique reste non résolue
Joseph Steinberg a souligné qu'AURA ne résout pas le problème d'un pirate informatique non détecté qui interfère avec le graphe de connaissances du système d'IA, voire avec ses données. « Le pire scénario n'est peut-être pas que vos données soient volées, mais qu'un pirate informatique introduise des données erronées dans votre système afin que votre IA produise de mauvais résultats sans que vous vous en rendiez compte », a-t-il déclaré.
« Et vous ne savez pas quelles données sont erronées ni quelles connaissances acquises par l'IA sont erronées. Même si vous pouvez identifier qu'un pirate s'est introduit dans votre système et a commis une infraction il y a six mois, pouvez-vous effacer tout ce qui a été appris au cours des six derniers mois ? C'est pourquoi la cybersécurité 101, la défense en profondeur, est essentielle pour les systèmes d'IA et les systèmes non basés sur l'IA ».
« AURA réduit les conséquences si quelqu'un vole un modèle, mais il reste à déterminer si cette technologie peut passer du laboratoire à l'entreprise », a-t-il noté. Cependant, dans le secteur, les entreprises semblent plus préoccupées par le lancement de nouveaux produits que la sécurité des systèmes.
L'IA évolue plus rapidement que la sécurité de l'IA
Joseph Steinberg a déclaré que la sécurité de l'IA revêt une importance capitale : « à mesure que l'utilisation de l'IA se généralise, les responsables de la sécurité informatique doivent garder à l'esprit que la technologie et tout ce qui est nécessaire à son fonctionnement rendent également beaucoup plus difficile la récupération des données erronées introduites dans un système. L'IA progresse beaucoup plus rapidement que la sécurité de l'IA ».
« Pour l'instant, de nombreux systèmes d'IA sont protégés de la même manière que les systèmes non basés sur l'IA. Cela n'offre pas le même niveau de protection, car en cas de problème, il est beaucoup plus difficile de savoir si quelque chose de grave s'est produit et d'éliminer les conséquences d'une attaque ».
Le secteur tente de résoudre ces problèmes, comme le soulignent les chercheurs dans leur article. Ils mentionnent notamment le cadre de gestion des risques liés à l'IA du National Institute for Standards and Technology (NIST) américain, qui insiste sur la nécessité d'une sécurité et d'une résilience robustes des données, y compris l'importance de développer une protection efficace des connaissances. Les initiatives sont toutefois peu nombreuses.
Le secteur de l'IA face à la rareté des sources de données
L'IA générative est avide de données. Elle est construite à partir de données glanées partout sur le Web ouvert et des bases de données propriétaires des développeurs. Mais dans ce processus, les développeurs de systèmes d'IA n'hésitent pas à employer des méthodes controversées comme le vol et le piratage pour accéder aux contenus de qualité. Ces données sont indispensables à la création de grands modèles de langage (LLM) performants.
Compte tenu des coûts potentiels, les entreprises ont tout intérêt à empêcher le vol de leurs graphes de connaissances et leur utilisation pour créer un produit concurrentiel basé sur l'IA. Cette préoccupation est partagée par les éditeurs, les auteurs et autres créateurs de contenu médiatique.
Anthropic et Meta ont fait l'objet de plusieurs plaintes pour exploitation illégale de données protégées par le droit d'auteur. L'année dernière, Meta a été accusé d'avoir téléchargé plus de 81,7 To de livres piratés pour enrichir les modèles utilisés dans ses systèmes d'IA. Anthropic, créateur du chatbot Claude, a été également accusé d’avoir bâti une partie de son succès sur des données protégées issues d’une bibliothèque massive de livres piratés.
Dans le même temps, les entreprises ont assuré qu'elles ne pourraient pas développer des systèmes d'IA de pointe sans l'accès aux données protégées par le droit d'auteur. Cette position met en lumière une tension croissante entre innovation technologique et respect du cadre juridique existant.
Les détenteurs de droits dénoncent une appropriation de leurs œuvres sans autorisation ni compensation, tandis que les acteurs...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Mathis Lucas
