Cloudflare bloquera par défaut l'accès des robots d'indexation d'intelligence artificielle (IA) aux pages web, tout en offrant aux propriétaires de sites des options plus granulaires pour contrôler le type de robots d'IA qui indexent leurs pages. De plus, Cloudflare a lancé une nouvelle initiative visant à faire payer les services d'IA pour accéder à ces pages, appelée "Pay Per Crawl".L'initiative voit le jour peu de temps après que le PDG de Cloudflare a qualifié l'IA de fardeau économique. S'exprimant lors d'une récente conférence abordant l'impact fondamental de l'IA sur les modèles d'entreprise en ligne, Matthew Prince a avertit que l'IA brise le modèle économique du web en découplant la création de contenu de la valeur et en fournissant des réponses sans générer de trafic vers les sources originales. Il a notamment décrit Google, le géant de la recherche en ligne, comme étant au cœur de la perturbation.
Pour rappel, Cloudflare est utilisé par environ 20 % de l'ensemble de l'Internet, ce qui peut poser un sérieux problème pour les services d'IA qui s'entraînent sur la base du web ouvert car 20 % de tout ce contenu peut tout simplement disparaître pour ces services d'IA. Cloudflare est un réseau de diffusion de contenu important, mais il offre également des services de cybersécurité, d'atténuation des attaques DDoS, de réseau étendu, de proxys inversés et bien plus encore.
Blocage des robots d'IA. L'annonce par Cloudflare de son intention de bloquer par défaut les robots d'IA et les crawlers est une décision importante. Tout nouveau site qui s'inscrit à Cloudflare sera automatiquement configuré par défaut pour empêcher les robots d'IA d'accéder à son contenu. « Cela va fondamentalement changer la façon dont les entreprises d'IA accèdent au contenu web à l'avenir », a écrit Cloudflare.
Contrôles de blocage granulaires. Cloudflare a déclaré avoir conclu un partenariat avec des entreprises spécialisées dans l'IA afin de vérifier l'identité et l'objectif des robots d'indexation d'IA. Plus précisément, il s'agit de déterminer si les robots d'IA effectuent une indexation à des fins de formation, de génération de contenu ou de recherche.
Cela permet aux propriétaires de sites et aux créateurs de contenu de définir un contrôle plus granulaire sur les robots qu'ils souhaitent autoriser et ceux qu'ils souhaitent interdire.
Pay Per Crawl. Cloudflare a également annoncé une nouvelle initiative de rémunération visant à mettre au point une méthode permettant aux entreprises d'IA de payer pour explorer votre contenu, appelée Pay Per Crawl. À l'avenir, les entreprises d'IA pourraient également être en mesure de prévisualiser le contenu, de voir quand il a été mis à jour afin de rassembler le contenu le plus pertinent pour leurs besoins particuliers, et même d'y accéder dans un format optimisé pour les machines, a déclaré l'entreprise.
Cette initiative, actuellement en version bêta privée, offrira aux créateurs de contenu et aux propriétaires de sites une nouvelle source de revenus, et aux entreprises spécialisées dans l'IA un moyen simple et efficace de trouver et d'accéder au contenu dont elles ont besoin.
Les tarifs seront déterminés à la fois par les éditeurs, qui peuvent fixer les prix, et par les entreprises d'IA, qui peuvent choisir d'accéder ou non aux pages web à ces tarifs, a déclaré la société.
ADWEEK, Atlas Obscura, BuzzFeed, Fortune, Stack Overflow, News/Media Alliance, The Atlantic, Battelle Media, Evolve Media, Hyperscience, IAB Tech Lab, O'Reilly Media, Quora, Raptive, Sovrn, Inc, figurent parmi quelques-uns des éditeurs qui ont déjà adopté cette initiative.
« L'IA va fondamentalement changer le modèle économique du web. Depuis 15 ans, le modèle économique du web repose sur la recherche... La recherche est le moteur de tout ce qui se passe en ligne. », a déclaré Matthew Prince, cofondateur et PDG de Cloudflare.
« Si Internet veut survivre à l'ère de l'IA, nous devons donner aux éditeurs le contrôle qu'ils méritent et construire un nouveau modèle économique qui fonctionne pour tout le monde : les créateurs, les consommateurs, les fondateurs de l'IA de demain et l'avenir du Web lui-même », a rajouté Matthew Prince. « Le contenu original est ce qui fait d'Internet l'une des plus grandes inventions du siècle dernier, et nous devons nous unir pour le protéger. Les robots d'indexation IA ont récupéré du contenu sans aucune limite. Notre objectif est de redonner le pouvoir aux créateurs, tout en continuant à aider les entreprises d'IA à innover. Il s'agit de préserver l'avenir d'un Internet libre et dynamique grâce à un nouveau modèle qui fonctionne pour tout le monde. »
« En tant que plus grand éditeur du pays, regroupant USA TODAY et plus de 200 publications locales à travers le réseau USA TODAY Network, il est essentiel de bloquer le scraping non autorisé et l'utilisation de notre contenu original sans compensation équitable », a déclaré Renn Turiano, directeur de la consommation et des produits chez Gannett Media. « Alors que notre secteur est confronté à ces défis, nous sommes optimistes quant au fait que la technologie Cloudflare contribuera à lutter contre le vol de propriété intellectuelle précieuse. »
« Nous félicitons Cloudflare pour son engagement en faveur d'un écosystème numérique durable qui profite à toutes les parties prenantes : les consommateurs qui s'appuient sur des informations fiables, les éditeurs qui investissent dans leur création et les annonceurs qui soutiennent leur diffusion », a déclaré Vivek Shah, PDG de Ziff Davis.
Il n'a pas été facile d'empêcher les robots d'indexation d'IA d'utiliser le contenu des créateurs sans autorisation. De nombreux services ne respectent pas pleinement les règles du fichier robots.txt, d'autres ont créé d'autres méthodes pour contrôler l'indexation que les systèmes de gestion de contenu n'ont pas entièrement adoptées, et certains (comme Google) regroupent des fonctionnalités telles que les aperçus d'IA et le mode IA dans le cadre de la recherche.
L'initiative de Cloudflare devrait non seulement permettre aux éditeurs et aux propriétaires de sites de mieux contrôler les robots d'indexation d'IA, mais aussi inciter ces entreprises d'IA à trouver de meilleurs moyens de rémunérer les créateurs de contenu pour l'utilisation future de leur contenu.
Un paysage de consommation en pleine mutation
De nombreux éditeurs, créateurs de contenu et propriétaires de sites web ont actuellement l'impression d'avoir un choix binaire : soit laisser la porte grande ouverte à l'IA pour qu'elle consomme tout ce qu'ils créent, soit créer leur propre jardin clos. Mais s'il existait une autre solution ?
Cloudflare est parti d'un principe simple : il voulait que les créateurs de contenu propriétaires de sites web puissent contrôler qui accède à leur travail. Si un créateur souhaite bloquer tous les robots d'indexation d'IA de son contenu, il doit pouvoir le faire. Si un créateur ou un propriétaire de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
