Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité.Cloudflare est une entreprise technologique américaine, qui fournit une gamme de services Internet, notamment des services de réseau de diffusion de contenu (CDN), de cybersécurité dans le cloud, d'atténuation des attaques DDoS et d'enregistrement de noms de domaine accrédités par l'ICANN. Les services de l'entreprise agissent principalement comme un proxy inverse entre les visiteurs d'un site web et le fournisseur d'hébergement d'un client, améliorant ainsi les performances et protégeant contre le trafic malveillant.
En 2025, Cloudflare a annoncé qu'elle bloquerait par défaut l'accès des robots d'indexation d'intelligence artificielle (IA) aux pages web, tout en offrant aux propriétaires de sites des options plus granulaires pour contrôler le type de robots d'IA qui indexent leurs pages. De plus, Cloudflare a lancé une nouvelle initiative visant à faire payer les services d'IA pour accéder à ces pages, appelée "Pay Per Crawl". Cette annonce avait suscité des réactions car Cloudflare est utilisé par environ 20 % de l'ensemble de l'Internet, ce qui peut poser un sérieux problème pour les services d'IA qui s'entraînent sur la base du web ouvert car 20 % de tout ce contenu peut tout simplement disparaître pour ces services d'IA.
Pourtant en 2026, Cloudflare annonce un changement dans sa stratégie. Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité. Cette fonctionnalité est disponible en version bêta sans frais supplémentaires pour les utilisateurs Pro, Business, Enterprise et SSL for SaaS.
Cloudflare justifie cette décision en déclarant : "La manière dont le contenu et les entreprises sont découverts en ligne évolue rapidement. Auparavant, le trafic provenait des moteurs de recherche traditionnels, et le référencement naturel (SEO) déterminait qui était trouvé en premier. Aujourd'hui, le trafic provient de plus en plus des robots d'indexation et des agents IA qui exigent des données structurées au sein d'un Web souvent non structuré, conçu pour les humains. En tant qu'entreprise, pour rester à la pointe, il est temps de ne plus se concentrer uniquement sur les visiteurs humains ou les principes traditionnels d'optimisation SEO, mais de commencer à traiter les agents comme des citoyens de première classe."
En 2025, le PDG de Cloudflare avait pourtant qualifié l'IA de fardeau économique. Abordant l'impact fondamental de l'IA sur les modèles d'entreprise en ligne, Matthew Prince a avertit que l'IA brise le modèle économique du web en découplant la création de contenu de la valeur et en fournissant des réponses sans générer de trafic vers les sources originales. Cloudflare se trouve au cœur de ce problème majeur, car il alimente 80 % des géants de l'IA et entre 20 à 30 % d'Internet, indique Matthew Prince. Ainsi, l'entreprise souhaite réparer tout ce qui est cassé. Toutefois, le problème réside dans le coût de l'IA, qui représente une dépense importante pour les autres, selon Prince.
Voici un extrait de l'annonce de Cloudflare :
Présentation de Markdown pour les agents
Pourquoi Markdown est-il important ?
Fournir du code HTML brut à une IA revient à payer au mot pour lire l'emballage plutôt que la lettre qu'il contient. Un simple ## About Us sur une page en markdown coûte environ 3 jetons ; son équivalent HTML – <h2 class="section-title" id="about">À propos de nous</h2> – en coûte 12 à 15, et cela sans compter les balises <div>, les barres de navigation et les balises de script qui remplissent chaque page Web réelle et n'ont aucune valeur sémantique.
Cet article de blog que vous êtes en train de lire nécessite 16 180 jetons en HTML et 3 150 jetons lorsqu'il est converti en markdown. Cela représente une réduction de 80 % de l'utilisation des jetons.
Le markdown est rapidement devenu la lingua franca des agents et des systèmes d'IA dans leur ensemble. La structure explicite de ce format le rend idéal pour le traitement par l'IA, ce qui se traduit finalement par de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.