Cloudflare et GoDaddy ont annoncé un partenariat visant à contrer l'impact croissant des robots d'indexation d'intelligence artificielle (IA) sur le trafic des sites web et les revenus des éditeurs. Cette initiative intègre la solution « AI Crawl Control » de Cloudflare à la plateforme d'hébergement de GoDaddy, permettant ainsi aux propriétaires de sites de bloquer, d'autoriser ou de monétiser l'accès des robots d'indexation IA. Cette initiative répond à l'essor des moteurs de recherche IA, comme la fonctionnalité « Aperçu IA » de Google, qui fournissent de plus en plus souvent des réponses directes aux utilisateurs au lieu de les rediriger vers les pages web des créateurs de contenu.Cloudflare, Inc. est une entreprise technologique américaine dont le siège social est situé à San Francisco, en Californie, qui propose une gamme de services Internet, notamment des services de réseau de diffusion de contenu (CDN), de cybersécurité dans le cloud, de protection contre les attaques DDoS et d'enregistrement de noms de domaine accrédités par l'ICANN. Les services de l'entreprise fonctionnent principalement comme un proxy inverse entre les visiteurs d'un site web et l'hébergeur du client, améliorant ainsi les performances et assurant une protection contre le trafic malveillant.
Cette initiative s’inscrit dans une stratégie plus large de Cloudflare visant à redéfinir les règles d’accès des systèmes d’IA aux contenus en ligne. En juillet dernier, l'entreprise avait déjà annoncé qu'elle bloquerait par défaut l'accès des robots d'indexation IA de pillage de pages web, tout en introduisant des contrôles plus fins permettant aux éditeurs de décider quels robots IA peuvent accéder à leurs contenus. Parallèlement, Cloudflare a lancé « Pay Per Crawl », un mécanisme qui permet de faire payer les services d'IA pour l'exploration des pages web, posant ainsi les bases d'un modèle économique alternatif pour les créateurs de contenu.
Dans le prolongement de cette approche, Cloudflare a également cherché à encadrer le scraping IA par des normes déclaratives. En septembre 2025, l'entreprise a introduit une politique de signalisation de contenu reposant sur une extension du fichier robots.txt, qui permet aux éditeurs de définir des règles précises indiquant comment le contenu récupéré peut être utilisé après le crawl. Ce dispositif offert gratuitement permet notamment de distinguer les usages commerciaux et non commerciaux, et d'indiquer des autorisations explicites pour l'entraînement de l'IA ou la synthèse de contenu, voire d'interdire totalement la réutilisation.
GoDaddy Inc. est une société américaine cotée en bourse spécialisée dans l'enregistrement de noms de domaine, la gestion de noms de domaine et l'hébergement web. Son siège social est situé à Tempe, en Arizona, et elle est constituée en vertu de la loi générale sur les sociétés du Delaware. En 2023, GoDaddy est le cinquième hébergeur web mondial en termes de part de marché, avec plus de 62 millions de noms de domaine enregistrés. La société s'adresse principalement aux petites et micro-entreprises, qui constituent la majeure partie de ses 20 millions de clients
Le 7 avril 2026, Cloudflare et GoDaddy ont annoncé un partenariat visant à remédier à l'impact des robots d'indexation IA des grandes entreprises technologiques sur le trafic des sites web et les revenus des éditeurs. Cette initiative s'attaque au problème croissant posé par les moteurs de recherche IA qui réutilisent du contenu web sans rediriger les utilisateurs vers la source d'origine. Dans le cadre de cet accord, la solution « AI Crawl Control » de Cloudflare sera intégrée à la plateforme d'hébergement de GoDaddy, permettant ainsi aux propriétaires de sites d'autoriser, de bloquer ou d'exiger un paiement de la part des robots IA.
Ce partenariat est une réponse à l'essor des moteurs de recherche basés sur l'IA, tels que « AI Overview » de Google, qui fournissent de plus en plus souvent des réponses directes aux utilisateurs au lieu de les rediriger vers des sites web. Cette évolution a exacerbé les tensions entre les créateurs de contenu et les entreprises spécialisées dans l'IA, car les éditeurs voient leur trafic diminuer et leurs revenus baisser considérablement, alors que leur contenu continue d'être utilisé, souvent sans même être crédité.
Cloudflare et GoDaddy soutiennent également des normes ouvertes telles que l'Agent Name Service (ANS) et le Web Bot Auth, qui permettent de vérifier l'identité des agents IA grâce à des identifiants signés cryptographiquement. Outre les journaux d'audit qui offrent aux propriétaires de sites une meilleure visibilité sur l'activité des bots, l'objectif plus large est de mettre en place un système fondé sur les autorisations, dans lequel l'identité, le contrôle d'accès et la rémunération contribuent à protéger le contenu créé par des humains en ligne, ce qui semble plus nécessaire que jamais à l'heure actuelle.
Le communiqué de Cloudflare est présenté ci-dessous : «
Cloudflare, Inc., le leader dans le domaine du cloud de connectivité, et GoDaddy, le leader mondial en termes de noms de domaine et de technologies pour PME, annoncent aujourd'hui un partenariat stratégique visant à assurer la transparence et le contrôle dont les propriétaires de sites web et les entreprises de développement d'IA ont besoin concernant la manière dont leur contenu est utilisé par l'IA, tout en soutenant la mise en place de normes permettant de mieux identifier les agents IA. Ensemble, les deux entreprises se sont donné pour objectif de favoriser l'émergence de solutions concernant l'identité, la confiance et l'accès sur le web agentique ouvert.
En passant d'un web composé de pages conçues pour les humains à un web également conçu pour prendre en charge des agents agissant pour le compte des humains, le réseau Internet traverse actuellement un processus de changement fondamental. En l'absence de normes et d'outils clairs, cette transition risque de submerger les propriétaires de sites web sous un afflux de trafic automatisé non identifiable et potentiellement malveillant (notamment les PME et les créateurs de contenu). Nous devons mettre en place un moyen de nous assurer que les propriétaires de sites web disposent de tous les outils nécessaires pour identifier, gérer et contrôler facilement le trafic lié à l'IA.
Visibilité et contrôle sur les robots d'exploration IA
À compter d'aujourd...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.