La nouvelle initiative «Pay Per Crawl» de Cloudflare a déclenché un débat parmi les professionnels du référencement et les spécialistes du marketing numérique.
La société a présenté Un système de blocage par rapport à la création par rapport à des nouvelles options de monétisation pour les éditeurs.
Cela permet aux éditeurs de facturer des sociétés d’IA pour l’accès, ce qui pourrait avoir un impact sur la façon dont le contenu Web est consommé et apprécié à l’ère de la recherche générative.
NOUVEAU DE DÉAUTER DE LA Cloudflare: Block AI Crawlers
Le système, désormais en bêta privé, bloque les robots AI connus par défaut pour les nouveaux domaines CloudFlare.
Les éditeurs peuvent choisir l’un des trois paramètres d’accès pour chaque robot:
- Permettre – accorder un accès sans restriction
- Charge – nécessite un paiement au prix configuré à l’échelle du domaine
- Bloc – refuser entièrement l’accès
Crawlers qui tentent d’accéder au contenu bloqué recevront un 402 Payment Required réponse. Les éditeurs ont fixé un prix plat à l’échelle du site par demande et CloudFlare gère la facturation et la distribution des revenus.
Cloudflare a écrit:
«Imaginez demander à votre programme de recherche en profondeur préféré pour vous aider à synthétiser les dernières recherches sur le cancer ou un mémoire juridique, ou simplement vous aider à trouver le meilleur restaurant de SoHo – puis donner à cet agent un budget à dépenser pour acquérir le contenu le meilleur et le plus pertinent.
Détails techniques et adoption de l’éditeur
Le système s’intègre directement aux outils de gestion de bot de Cloudflare et fonctionne avec les règles WAF existantes et robots.txt fichiers. L’authentification est gérée à l’aide de paires de clés ED25519 et de signatures de message HTTP pour empêcher l’usurpation.
Cloudflare dit que les premiers adoptants incluent les principaux éditeurs comme Condé Nast, Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest, Quora et autres.
Bien que la configuration actuelle ne prenne en charge uniquement les prix plates, la société prévoit d’explorer des modèles de prix dynamiques et granulaires dans les futures itérations.
La communauté SEO partage les préoccupations
Bien que les nouveaux contrôles de Cloudflare puissent être modifiés manuellement, plusieurs experts SEO sont préoccupés par l’impact de la désactivation du système plutôt que de l’opt-in.
« Cela ne se terminera pas bien », a écrit Duane ForresterVice-président des informations de l’industrie chez Yext, avertissant que les entreprises peuvent avoir du mal à apparaître dans des réponses alimentées par l’IA sans se rendre compte que l’accès au robot est bloqué à moins que des frais ne soient payés.
LisLe vice-président de la stratégie et de la recherche SEO chez Amsive Digital, a noté que le changement est susceptible de déclencher des conversations urgentes avec les clients, en particulier ceux qui ignorent que leurs sites pourraient désormais être invisibles pour les robots de l’IA par défaut.
Ryan JonesLe vice-président directeur du référencement de Razorfish, a déclaré que la plupart de ses sites clients voulaient réellement que les Crawlers d’IA accèdent à leur contenu pour des raisons de visibilité.
Certains disent que c’est une réinitialisation nécessaire
Certains membres de la communauté accueillent le déménagement en tant que rééquilibrage attendu depuis longtemps de l’économie de contenu.
« Une force est nécessaire pour incliner l’équilibre à l’endroit où il était autrefois », a déclaré Dias de PedroConsultant technique SEO et ancien membre de l’équipe de qualité de recherche de Google. Il suggère que la dynamique actuelle favorise les entreprises d’IA aux dépens des éditeurs.
Ilya GrigorikIngénieur distingué et conseiller technique de Shopify, a salué l’utilisation de l’authentification cryptographique, affirmant qu’elle est «bien nécessaire» étant donné la difficulté de distinguer les robots légitimes et malveillants.
Dans le cadre du nouveau système, les Crawlers doivent s’authentifier à l’aide de la cryptographie de clé publique et déclarer l’intention de paiement via des en-têtes HTTP personnalisés.
En avant
Le système de rémunération de CloudFlare formalise une nouvelle couche de négociation sur qui accéder à l’accès au contenu Web et à quel coût.
Pour le référencement, cela ajoute de la complexité: la visibilité peut désormais dépendre non seulement du classement, mais des paramètres d’accès au robot, des politiques de paiement et de l’authentification BOT.
Alors que certains considèrent cela comme des éditeurs stimulants, d’autres avertissent qu’il pourrait fragmenter le Web ouvert, où l’accès au contenu varie en fonction des infrastructures et des murs de paiement.
Si une IA générative devient une partie essentielle de la façon dont les gens recherchent et que les tuyaux alimentaient cette IA sont désormais des routes à péage, les sites Web devront gérer la visibilité dans un patchwork croissant de systèmes, de politiques et de modèles financiers.
Image en vedette: Samborskyi romain/ Shutterstock
Commentaires