Des chercheurs proposent un outil permettant d'empoisonner les données volées pour que les systèmes d'IA renvoient des résultats erronés,

Mais cette solution menace de réduire la fiabilité globale des LLM

Des scientifiques explorent une méthode visant empêcher le vol de données pour l'entraînement de l'IA : polluer les graphes de connaissances. Leur technique permet de rendre inutilisables les données de grande valeur volées utilisées dans les systèmes d'IA. Elle consiste notamment à injecter des données plausibles, mais fausses dans ce qu'on appelle un « graphe de connaissances » créé par un opérateur d'IA. Cette technique antivol n'est pas entièrement une nouveauté. La nouveauté ici réside dans le fait que les utilisateurs autorisés disposent d'une clé secrète qui filtre les données falsifiées afin que la réponse du modèle à une requête soit utilisable.

Des chercheurs affiliés à des universités chinoises et singapouriennes ont mis au point une technique permettant de rendre inutilisables les données de graphes de connaissances (KG) volées si elles sont intégrées sans autorisation dans un système d'IA GraphRAG. Ils ont décrit leur technique dans un article préliminaire intitulé « Making Theft Useless: Adulteration-Based Protection of Proprietary Knowledge Graphs in GraphRAG Systems » sur arXiv.

Les chercheurs ont baptisé cet outil AURA (Active Utility Reduction via Adulteration). D'après l'équipe, AURA dégrade les performances des systèmes non autorisés à une précision de seulement 5,3 %, tout en conservant une fidélité de 100 % pour les utilisateurs autorisés, avec une « surcharge négligeable ».

Ils affirment également qu'AURA résiste à diverses tentatives de nettoyage par un attaquant, conservant 80,2 % des adultérants injectés pour la défense, et que les fausses données qu'il crée sont difficiles à détecter. Pourquoi tout cela est-il important ? En raison du fait que les graphes de connaissances contiennent souvent la propriété intellectuelle très sensible d'une organisation (comme Pfizer ou Siemens), elles constituent une cible de choix.

Comprendre le fonctionnement du mécanisme « AURA »

AURA est essentiellement un outil permettant d'empoisonner ou d'altérer subtilement les données qui entrent dans un graphe de connaissance, de sorte que leur récupération précise nécessite une clé secrète. L'objectif de cet outil n'est pas d'empêcher l'accès au texte en clair, mais plutôt de dégrader les réponses du graphe de connaissances aux LLM, de sorte que les prédictions faites sans la clé produisent une précision réduite et des hallucinations.


L'injection de données corrompues dans un système de données pour le protéger contre le vol n'est pas une nouveauté. La nouveauté d'AURA réside dans le fait que les utilisateurs autorisés disposent d'une clé secrète qui filtre les données falsifiées afin que la réponse du modèle à une requête soit utilisable.

Mais si le graphe de connaissances est volé, il est inutilisable par l'attaquant à moins qu'il ne connaisse la clé, car les données falsifiées seront récupérées comme contexte, ce qui entraînera une détérioration du raisonnement du modèle et conduira à des réponses factuellement incorrectes. Les auteurs ont testé leur technique en créant des grappes de connaissances falsifiés à l'aide des ensembles de données MetaQA, WebQSP, FB15K-237 et HotpotQA.

Ils ont tenté de déployer des systèmes GraphRAG en utilisant ces grappes de connaissances empoisonnés en conjonction avec divers modèles (GPT-4o, Gemini-2.5-flash, Llama-2-7b et Qwen-2.5-7b). Les résultats indiquent que leur outil AURA est très efficace. Les modèles ont récupéré du contenu falsifié dans 100 % des cas et ont émis des réponses incorrectes aux utilisateurs sur la base de ces informations erronées dans au moins 94 % des cas.

Cette technique de protection souffre de quelques limites

Dans certains cas, le graphe de connaissances peut contenir à la fois des données correctes et incorrectes sur un sujet, et le modèle peut choisir la bonne réponse. Il existe des techniques pour détoxifier les données corrompues. Mais leur approche résiste principalement aux contrôles basés sur la cohérence sémantique (par exemple Node2Vec), sur la détection d'anomalies basée sur des graphes (ODDBALL) et sur des approches hybrides (comme SEKA).

D'autres approches, telles que le tatouage numérique, peuvent être utiles pour rendre le vol de données traçable, mais elles ne permettent pas de lutter contre l'utilisation abusive des données volées dans un cadre privé. Les auteurs de l'étude affirment également que le chiffrement traditionnel n'est pas pratique.

« Le chiffrement complet du texte et des intégrations nécessiterait le déchiffrement d'une grande partie du graphe pour chaque requête. Ce processus entraîne une surcharge de calcul et une latence prohibitives, ce qui le rend inadapté à une utilisation dans le monde réel », affirment les chercheurs.

Les réactions dans la communauté après l'annonce d'AURA

AURA a suscité des réactions mitigées dans la communauté. Pour certains, AURA pose quelques problèmes. « L’altération des données n'a jamais vraiment bien fonctionné », affirme Bruce Schneier, responsable de l'architecture de sécurité chez Inrupt Inc. et chercheur et conférencier à la Kennedy School de Harvard. « Les honeypots ne sont pas mieux. C'est une idée astucieuse, mais je ne la considère que comme un système de sécurité auxiliaire ».

D'autres critiques affirment toutefois que le cadre AAURA constitue une solution exploitable. Joseph Steinberg, consultant américain en cybersécurité et en IA, a déclaré que « d'une manière générale, cela pourrait fonctionner pour toutes sortes de systèmes, qu'ils soient basés ou non sur l'IA ».

« Ce n'est pas un concept nouveau. Certaines parties le font [injecter de mauvaises données à des fins de défense] avec des bases de données depuis de nombreuses années », a-t-il souligné. Il a expliqué qu'une base de données peut être marquée d'un filigrane afin que, si elle était volée et qu'une partie de son contenu était utilisée par la suite (un faux numéro de carte de crédit, par exemple), les enquêteurs puissent savoir d'où provenait cette donnée.

Mais contrairement au filigrane, qui ajoute un seul enregistrement erroné à une...[/injecter de mauvaises données à des fins de défense]