Le fournisseur d'infrastructure web Cloudflare a annoncé une nouvelle fonctionnalité appelée « AI Labyrinth » qui vise à lutter contre le scraping de données d'IA non autorisé en proposant aux robots un faux contenu généré par l'IA. L'outil tentera de contrecarrer les entreprises d'IA qui parcourent les sites web sans autorisation pour collecter des données d'entraînement pour les grands modèles de langage qui alimentent les assistants d'IA tels que ChatGPT.Cloudflare, fondée en 2009, est probablement mieux connue comme une entreprise qui fournit des services d'infrastructure et de sécurité pour les sites web, en particulier la protection contre les attaques par déni de service distribué (DDoS) et d'autres trafics malveillants.
Au lieu de simplement bloquer les robots, le nouveau système de Cloudflare les attire dans un « labyrinthe » de pages réalistes mais non pertinentes, gaspillant ainsi les ressources informatiques du robot d'exploration. Cette approche constitue un changement notable par rapport à la stratégie standard de blocage et de défense utilisée par la plupart des services de protection des sites web. Cloudflare explique que le blocage des robots se retourne parfois contre eux, car il avertit les opérateurs du robot qu'ils ont été détectés.
« Lorsque nous détectons une exploration non autorisée, au lieu de bloquer la demande, nous établissons un lien vers une série de pages générées par l'IA qui sont suffisamment convaincantes pour inciter un robot à les parcourir », écrit Cloudflare. « Mais bien qu'il ait l'air réel, ce contenu n'est pas réellement le contenu du site que nous protégeons, de sorte que le robot d'exploration perd du temps et des ressources ».
L'entreprise affirme que le contenu servi aux robots est délibérément sans rapport avec le site web exploré, mais qu'il est soigneusement sourcé ou généré à l'aide de faits scientifiques réels, tels que des informations neutres sur la biologie, la physique ou les mathématiques, afin d'éviter la diffusion de fausses informations (il n'est toutefois pas prouvé que cette approche empêche effectivement la diffusion de fausses informations). Cloudflare crée ce contenu à l'aide de son service Workers AI, une plateforme commerciale qui exécute des tâches d'intelligence artificielle.
Cloudflare a conçu les pages et les liens piégés de manière à ce qu'ils restent invisibles et inaccessibles aux visiteurs ordinaires, afin que les internautes ne tombent pas dessus par hasard.
Un pot de miel « de nouvelle génération »
AI Labyrinth fonctionne comme ce que Cloudflare appelle un « pot de miel de nouvelle génération ». Les pots de miel traditionnels sont des liens invisibles que les visiteurs humains ne peuvent pas voir, mais que les robots analysant le code HTML peuvent suivre. Mais Cloudflare explique que les robots modernes sont devenus habiles à repérer ces pièges simples, ce qui nécessite une tromperie plus sophistiquée. Les faux liens contiennent des métadirectives appropriées pour empêcher l'indexation par les moteurs de recherche tout en restant attrayants pour les robots pilleurs de données.
« Aucun être humain ne s'enfoncerait à quatre liens de profondeur dans un labyrinthe d'absurdités générées par l'IA », explique Cloudflare. « Tout visiteur qui le fait est très probablement un robot, ce qui nous donne un tout nouvel outil pour identifier les robots malveillants et en prendre les empreintes ».
Cette identification alimente une boucle de rétroaction d'apprentissage automatique - les données recueillies par AI Labyrinth sont utilisées pour améliorer en permanence la détection des bots sur le réseau de Cloudflare, améliorant ainsi la protection des clients au fil du temps. Les clients de n'importe quel plan Cloudflare (même le plan gratuit) peuvent activer la fonction en appuyant sur un simple bouton dans les paramètres de leur tableau de bord.
Utiliser l'IA générative comme arme défensive
Ci-dessous, un extrait du billet de présentation de Cloudflare :
Le contenu généré par l'IA a explosé, et aurait représenté quatre des 20 principaux messages sur Facebook l'automne dernier. En outre, Medium estime que 47 % de l'ensemble du contenu sur sa plateforme est généré par l'IA. Comme tout nouvel outil, l'IA a des utilisations merveilleuses et malveillantes.
Parallèlement, nous avons également assisté à une explosion des nouveaux crawlers utilisés par les entreprises d'IA pour récupérer des données en vue de l'entraînement des modèles. Les crawlers d'IA génèrent plus de 50 milliards de requêtes sur le réseau Cloudflare chaque jour, soit un peu moins de 1 % de toutes les requêtes web que nous voyons. Bien que Cloudflare dispose de plusieurs outils pour identifier et bloquer les robots d'IA non autorisés, nous avons constaté que le blocage des robots malveillants peut alerter l'attaquant que vous êtes sur eux, ce qui conduit à un changement d'approche et à une course à l'armement sans fin. Nous avons donc voulu créer un nouveau moyen de contrecarrer ces robots indésirables, sans leur faire savoir qu'ils ont été contrecarrés.
Pour ce faire, nous avons décidé d'utiliser un nouvel outil offensif dans la panoplie des créateurs de bots, que nous n'avons pas vraiment vu utilisé de manière défensive : le contenu généré par l'IA. Lorsque nous détectons une exploration non autorisée, au lieu de bloquer la requête, nous établissons un lien vers une série de pages générées par l'IA qui sont suffisamment convaincantes pour inciter un robot d'exploration à les parcourir. Bien qu'il ait l'air réel, ce contenu n'est pas celui du site que nous protégeons, ce qui fait perdre du temps et des ressources au robot d'exploration.
En outre, AI Labyrinth agit également comme un pot de miel de nouvelle génération. Aucun être humain n'irait chercher quatre liens dans un labyrinthe d'absurdités générées par l'IA. Tout visiteur qui le fait est très probablement un robot, ce qui nous donne un tout nouvel outil pour identifier et prendre les empreintes des mauvais robots, que nous ajoutons à notre liste de mauvais acteurs connus.
Comment nous avons construit le labyrinthe
Lorsque les robots d'indexation suivent ces liens, ils gaspillent de précieuses ressources informatiques en traitant des contenus non pertinents au lieu d'extraire les données légitimes de votre site web. Cela réduit considérablement leur capacité à recueillir suffisamment d'informations utiles pour former leurs modèles de manière efficace.
Pour générer un contenu humain convaincant, nous avons utilisé Workers AI avec un modèle open source pour créer des pages HTML uniques sur divers sujets. Plutôt que de créer ce contenu à la demande (ce qui pourrait avoir un impact sur les performances), nous avons mis en œuvre un pipeline de pré-génération qui assainit le contenu pour éviter toute vulnérabilité XSS, et le stocke dans R2 pour une récupération plus rapide. Nous avons constaté que le fait de générer d'abord un ensemble diversifié de sujets, puis de créer du contenu pour chaque sujet, produisait des résultats plus variés et plus convaincants. Il est important pour nous de ne pas générer de contenu inexact qui contribuerait à la diffusion de fausses informations sur Internet. Le contenu que nous générons est donc réel et lié à des faits scientifiques, mais il n'est pas pertinent ou propriétaire du site exploré.
Ce contenu pré-généré est intégré de manière transparente en tant que liens cachés sur des pages existantes via notre processus de transformation HTML personnalisé, sans perturber la structure ou le contenu d'origine de la page. Chaque page générée comprend des méta directives appropriées pour protéger le référencement en empêchant l'indexation par les moteurs de recherche. Nous avons également veillé à ce que ces liens restent invisibles pour les visiteurs humains grâce à des attributs et à un style soigneusement mis en œuvre. Pour minimiser encore l'impact sur les visiteurs réguliers, nous avons veillé à ce que ces liens ne soient présentés qu'aux personnes soupçonnées d'utiliser l'IA, tout en permettant aux utilisateurs légitimes et aux robots d'exploration vérifiés de naviguer normalement.
L'ampleur de l'exploration par l'IA sur le web semble considérable
Selon les données de Cloudflare, les robots d'indexation génèrent plus de 50 milliards de requêtes par jour sur son réseau, soit près de 1 % de l'ensemble du trafic web qu'elle traite. Nombre de ces robots collectent des données sur les sites web pour entraîner de grands modèles de langage sans l'autorisation des propriétaires des sites, une pratique qui a donné lieu à de nombreuses actions en justice de la part des créateurs de contenu et des éditeurs.
Cette technique représente une application défensive intéressante de l'IA, qui protège...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
