Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité.Cloudflare est une entreprise technologique américaine, qui fournit une gamme de services Internet, notamment des services de réseau de diffusion de contenu (CDN), de cybersécurité dans le cloud, d'atténuation des attaques DDoS et d'enregistrement de noms de domaine accrédités par l'ICANN. Les services de l'entreprise agissent principalement comme un proxy inverse entre les visiteurs d'un site web et le fournisseur d'hébergement d'un client, améliorant ainsi les performances et protégeant contre le trafic malveillant.
En 2025, Cloudflare a annoncé qu'elle bloquerait par défaut l'accès des robots d'indexation d'intelligence artificielle (IA) aux pages web, tout en offrant aux propriétaires de sites des options plus granulaires pour contrôler le type de robots d'IA qui indexent leurs pages. De plus, Cloudflare a lancé une nouvelle initiative visant à faire payer les services d'IA pour accéder à ces pages, appelée "Pay Per Crawl". Cette annonce avait suscité des réactions car Cloudflare est utilisé par environ 20 % de l'ensemble de l'Internet, ce qui peut poser un sérieux problème pour les services d'IA qui s'entraînent sur la base du web ouvert car 20 % de tout ce contenu peut tout simplement disparaître pour ces services d'IA.
Pourtant en 2026, Cloudflare annonce un changement dans sa stratégie. Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité. Cette fonctionnalité est disponible en version bêta sans frais supplémentaires pour les utilisateurs Pro, Business, Enterprise et SSL for SaaS.
Cloudflare justifie cette décision en déclarant : "La manière dont le contenu et les entreprises sont découverts en ligne évolue rapidement. Auparavant, le trafic provenait des moteurs de recherche traditionnels, et le référencement naturel (SEO) déterminait qui était trouvé en premier. Aujourd'hui, le trafic provient de plus en plus des robots d'indexation et des agents IA qui exigent des données structurées au sein d'un Web souvent non structuré, conçu pour les humains. En tant qu'entreprise, pour rester à la pointe, il est temps de ne plus se concentrer uniquement sur les visiteurs humains ou les principes traditionnels d'optimisation SEO, mais de commencer à traiter les agents comme des citoyens de première classe."
En 2025, le PDG de Cloudflare avait pourtant qualifié l'IA de fardeau économique. Abordant l'impact fondamental de l'IA sur les modèles d'entreprise en ligne, Matthew Prince a avertit que l'IA brise le modèle économique du web en découplant la création de contenu de la valeur et en fournissant des réponses sans générer de trafic vers les sources originales. Cloudflare se trouve au cœur de ce problème majeur, car il alimente 80 % des géants de l'IA et entre 20 à 30 % d'Internet, indique Matthew Prince. Ainsi, l'entreprise souhaite réparer tout ce qui est cassé. Toutefois, le problème réside dans le coût de l'IA, qui représente une dépense importante pour les autres, selon Prince.
Voici un extrait de l'annonce de Cloudflare :
Présentation de Markdown pour les agents
Pourquoi Markdown est-il important ?
Fournir du code HTML brut à une IA revient à payer au mot pour lire l'emballage plutôt que la lettre qu'il contient. Un simple ## About Us sur une page en markdown coûte environ 3 jetons ; son équivalent HTML – <h2 class="section-title" id="about">À propos de nous</h2> – en coûte 12 à 15, et cela sans compter les balises <div>, les barres de navigation et les balises de script qui remplissent chaque page Web réelle et n'ont aucune valeur sémantique.
Cet article de blog que vous êtes en train de lire nécessite 16 180 jetons en HTML et 3 150 jetons lorsqu'il est converti en markdown. Cela représente une réduction de 80 % de l'utilisation des jetons.
Le markdown est rapidement devenu la lingua franca des agents et des systèmes d'IA dans leur ensemble. La structure explicite de ce format le rend idéal pour le traitement par l'IA, ce qui se traduit finalement par de meilleurs résultats tout en minimisant le gaspillage de jetons.
Le problème est que le Web est constitué de HTML, et non de markdown, et que le poids des pages n'a cessé d'augmenter au fil des ans, rendant les pages difficiles à analyser. Pour les agents, l'objectif est de filtrer tous les éléments non essentiels et de scanner le contenu pertinent.
La conversion du HTML en Markdown est désormais une étape courante pour tout pipeline d'IA. Cependant, ce processus est loin d'être idéal : il gaspille des ressources informatiques, augmente les coûts et la complexité du traitement et, surtout, il peut ne pas correspondre à la manière dont le créateur de contenu souhaitait que son contenu soit utilisé à l'origine.
Et si les agents IA pouvaient contourner les complexités de l'analyse des intentions et de la conversion des documents, et recevoir à la place un Markdown structuré directement à partir de la source ?
Convertir automatiquement le HTML en Markdown
Le réseau Cloudflare prend désormais en charge la conversion de contenu en temps réel à la source, pour les zones activées utilisant des en-têtes de négociation de contenu. Désormais, lorsque les systèmes d'IA demandent des pages à partir d'un site web qui utilise Cloudflare et sur lequel Markdown for Agents est activé, ils peuvent exprimer leur préférence pour le format text/markdown dans la requête. Notre réseau convertira automatiquement et efficacement le HTML en Markdown, lorsque cela est possible, à la volée.
Voici comment cela fonctionne. Pour récupérer la version Markdown d'une page à partir d'une zone où Markdown for Agents est activé, le client doit ajouter l'en-tête de négociation Accept avec text/markdown comme l'une des options. Cloudflare le détectera, récupérera la version HTML originale à partir de l'origine et la convertira en Markdown avant de la servir au client.
Voici un exemple de curl avec l'en-tête de négociation Accept demandant une page de notre documentation pour développeurs :
| Code : | Sélectionner tout |
1 2 | curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \ -H "Accept: text/markdown" |
Si vous créez un agent IA à l'aide de Workers, vous pouvez utiliser TypeScript :
| Code : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 | const r = await fetch(
`https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
{
headers: {
Accept: "text/markdown, text/html",
},
},
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text(); |
Nous constatons déjà que certains des agents de codage les plus populaires aujourd'hui, tels que Claude Code et OpenCode, envoient ces en-têtes Accept avec leurs demandes de contenu. Désormais, la réponse à cette demande est formatée en Markdown. C'est aussi simple que cela.
| Code : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | HTTP/2 200 date: Wed, 11 Feb 2026 11:44:48 GMT content-type: text/markdown; charset=utf-8 content-length: 2899 vary: accept x-markdown-tokens: 725 content-signal: ai-train=yes, search=yes, ai-input=yes --- title: Markdown for Agents · Cloudflare Agents docs --- ## What is Markdown for Agents The ability to parse and convert HTML to Markdown has become foundational for AI. ... |
Notez que nous incluons un en-tête x-markdown-tokens avec la réponse convertie qui indique le nombre estimé de jetons dans le document markdown. Vous pouvez utiliser cette valeur dans votre flux, par exemple pour calculer la taille d'une fenêtre de contexte ou pour décider de votre stratégie de découpage.
Voici un schéma illustrant son...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.