Cloudflare, un acteur majeur de l'infrastructure internet, est au cœur d'un débat houleux avec Google, exigeant que le géant de la recherche modifie la façon dont ses outils d'intelligence artificielle explorent le web. Cette initiative vise à donner aux propriétaires de sites un contrôle accru sur l'utilisation de leur contenu par les systèmes d'IA de Google, une demande à laquelle Google ne devrait probablement pas accéder facilement.Après que Cloudflare a commencé à tester de nouvelles fonctionnalités qui permettraient aux sites web de bloquer les robots d'indexation ou d'exiger un paiement pour le crawling, l'entreprise technologique a immédiatement été confrontée à des questions sur la logistique du plan. En particulier, les propriétaires de sites web et les experts en référencement voulaient savoir comment Cloudflare prévoyait d'empêcher le robot de Google d'explorer les sites pour alimenter la fonctionnalité AI Overview de Google sans risquer d'empêcher ce même robot d'explorer les sites pour obtenir de précieux placements dans les moteurs de recherche.
Le problème : un déséquilibre croissant dans l’usage du contenu web
Le PDG de Cloudflare, Matthew Prince, l’exprime sans détour : les crawlers IA s’approprient massivement le contenu d’Internet sans le redistribuer équitablement en trafic, en valeur, ou en rémunération. Alors que Google promet depuis 20 ans du trafic en échange du référencement, l’équilibre est aujourd’hui rompu avec les usages IA. La fonction AI Overviews de Google, par exemple, propose désormais des réponses complètes extraites de sources web, sans même que l’utilisateur ne clique sur le site d’origine. Résultat : les éditeurs sont pillés pour former les IA… mais ne gagnent presque plus rien.
La motivation principale de Cloudflare est de permettre aux éditeurs et créateurs de contenu de décider si et comment leurs données sont utilisées pour entraîner les modèles d'IA. Pour y parvenir, Cloudflare a introduit des outils permettant aux propriétaires de sites de :
- Bloquer par défaut les bots d'IA : les nouveaux sites utilisant Cloudflare bloqueraient automatiquement l'accès des crawlers d'IA.
- Contrôles de blocage granulaires : Cloudflare a déclaré avoir conclu un partenariat avec des entreprises spécialisées dans l'IA afin de vérifier l'identité et l'objectif des robots d'indexation d'IA. Plus précisément, il s'agit de déterminer si les robots d'IA effectuent une indexation à des fins de formation, de génération de contenu ou de recherche. Cela permet aux propriétaires de sites et aux créateurs de contenu de définir un contrôle plus granulaire sur les robots qu'ils souhaitent autoriser et ceux qu'ils souhaitent interdire
- Mettre en place un modèle Pay-per-crawl : Cloudflare a annoncé une nouvelle initiative de rémunération visant à mettre au point une méthode permettant aux entreprises d'IA de payer pour explorer votre contenu, appelée Pay-per-crawl. À l'avenir, les entreprises d'IA pourraient également être en mesure de prévisualiser le contenu, de voir quand il a été mis à jour afin de rassembler le contenu le plus pertinent pour leurs besoins particuliers, et même d'y accéder dans un format optimisé pour les machines, a déclaré l'entreprise.
Cette initiative, actuellement en version bêta privée, offrira aux créateurs de contenu et aux propriétaires de sites une nouvelle source de revenus, et aux entreprises spécialisées dans l'IA un moyen simple et efficace de trouver et d'accéder au contenu dont elles ont besoin. Les tarifs seront déterminés à la fois par les éditeurs, qui peuvent fixer les prix, et par les entreprises d'IA, qui peuvent choisir d'accéder ou non aux pages web à ces tarifs, a déclaré la société.
Dans cette optique, Cloudflare aborde le problème sous divers angles. Une réflexion qui a donné lieu entre autres à l'outil AI Labyrinth, un leurre sophistiqué qui dirige les bots IA vers un labyrinthe de pages inutiles générées automatiquement, consommant leurs ressources et empêchant l’entraînement efficace des modèles.
Ces mesures sont une tentative de rééquilibrer le pouvoir entre les créateurs de contenu et les géants de l'IA qui s'appuient sur de vastes ensembles de données pour leurs modèles. Cloudflare souligne que l'utilisation de leur contenu dans les AI Overviews ne génère pas toujours un trafic retour significatif vers les sites sources.
Matthew Prince : « pas de crawler d'IA sans compensation »
Dans un billet de blog, Matthew Prince a lancé le Content Independence Day (littéralement jour de l'indépendance de contenu). Il a expliqué la motivation derrière certaines fonctionnalités déployés (ou en déploiement) par son entreprise concernant le nouveau contexte d'internet. En voici un extrait :
Il y a près de 30 ans, deux étudiants diplômés de l'université de Stanford - Larry Page et Sergey Brin - ont commencé à travailler sur un projet de recherche qu'ils ont appelé Backrub. C'est bien sûr ce projet qui a donné naissance à Google. Mais il y a plus : il a créé le modèle économique du web.
Le marché conclu par Google avec les créateurs de contenu était simple : laissez-nous copier votre contenu pour la recherche, et nous vous enverrons du trafic. En tant que créateur de contenu, vous pouviez alors tirer parti de ce trafic de trois façons : en diffusant des publicités, en vendant des abonnements, ou simplement en éprouvant le plaisir de savoir que quelqu'un consommait votre contenu.
Google a facilité tout cela. La recherche génère du trafic. Il a acquis DoubleClick et créé AdSense pour aider les créateurs de contenu à diffuser des annonces. Il a également racheté Urchin pour lancer Google Analytics, qui vous permet de savoir qui consulte votre contenu à un moment donné.
Pendant près de trente ans, cette relation a défini le web et lui a permis de prospérer.
Mais cette relation est en train de changer. Pour la première fois depuis plus de dix ans, le pourcentage de recherches effectuées sur Google est en baisse. Qu'est-ce qui prend sa place ? L'IA.
Google lui-même a changé. Alors qu'il y a dix ans, il présentait une liste de liens et affirmait que le succès consistait à vous faire quitter son site le plus rapidement possible,...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
