Cloudflare a annoncé qu’ils ont radié le robot de perplexité en tant que bot vérifié et bloquent activement la perplexité et tous ses robots furtifs à partir de sites Web rampants. CloudFlare a agi en réponse à plusieurs plaintes d’utilisateurs contre la perplexité liées aux violations des robots.TXT Protocols, et une enquête ultérieure a révélé que la perplexité utilisait des tactiques de bot voyous agressifs pour forcer ses robots sur des sites Web.
Programme CloudFlare Verified Bots
CloudFlare a un système appelé robots vérifiés que les bots de listes blanches dans leur système, leur permettant d’explorer les sites Web protégés par CloudFlare. Les robots vérifiés doivent être conformes à des politiques spécifiques, telles que l’obéissance aux protocoles robots.txt, afin de maintenir leur statut privilégié dans le système de CloudFlare.
La perplexité violait les exigences de CloudFlare selon lesquelles les bots respectent le protocole Robots.TXT et s’abstenir d’utiliser des adresses IP qui ne sont pas déclarées comme appartenant au service d’exploration.
CloudFlare accuse la perplexité de l’utilisation de rampes furtives
CloudFlare a observé diverses activités indiquant un rampage très agressif, avec l’intention de contourner le protocole robots.txt.
Comportement rampant furtif: adresses IP tournantes
La perplexité contourne les blocs en utilisant des adresses IP rotatives, en modifiant les ASN et en imitant les navigateurs comme Chrome.
Perplexity a une liste d’adresses IP officielles qui rampent à partir d’un ASN spécifique (numéro de système autonome). Ces adresses IP aident à identifier les robots légitimes de la perplexité.
Un ASN fait partie du système de réseautage Internet qui fournit un numéro d’identification unique pour un groupe d’adresses IP. Par exemple, les utilisateurs qui accèdent à Internet via un FAI le font avec une adresse IP spécifique qui appartient à un ASN attribué à ce FAI.
Lorsqu’il est bloqué, Perplexity a tenté d’échapper à la restriction en passant à différentes adresses IP qui ne sont pas répertoriées comme IPS de perplexité officielles, y compris des IP entièrement différentes qui appartenaient à un ASN différent.
Comportement rampant furtif: agent utilisateur usurpé
L’autre comportement sournois que CloudFlare a identifié était que Perplexity a changé son agent utilisateur afin de contourner les tentatives de bloquer son robot via Robots.txt.
Par exemple, les bots de Perplexity sont identifiés avec les agents utilisateur suivants:
- Perplexitybot
- Perplexité-utilisateur
CloudFlare a observé que la perplexité a répondu aux blocs d’agent utilisateur en utilisant un agent utilisateur différent qui se faisait passer pour une personne qui rampe avec Chrome 124 sur un système Mac. C’est une pratique appelée usurpation, où un robot robot s’identifie comme un navigateur légitime.
Selon CloudflarePerplexity a utilisé l’agent utilisateur furtif suivant:
«Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_15_7) Applewebkit / 537.36 (Khtml, comme Gecko) Chrome / 124.0.0.0 Safari / 537.36»
Cloudflare impose la perplexité
Cloudflare a annoncé que la perplexité est radiée en tant que bot vérifié et qu’ils seront bloqués:
«L’Internet tel que nous l’avons connu au cours des trois dernières décennies change rapidement, mais une chose reste constante: elle est construite sur la confiance. Il existe des préférences claires que les robots devraient être transparents. rampant.
Plats à emporter
- Violation de la politique de robots vérifiés de Cloudflare
Perplexity a violé la politique vérifiée des robots de Cloudflare, qui accorde un accès aux robots de confiance qui suivent des règles de bon sens telles que l’honneur du protocole robots.txt. - La perplexité a utilisé des tactiques rampantes furtives
La perplexité a utilisé des adresses IP non déclarées de différents ASN et agents utilisateur usurpés pour faire du contenu après avoir été empêché d’y accéder. - Usurpation d’agent utilisateur
Perplexity a déguisé son bot en tant qu’utilisateur humain en se faisant passer pour Chrome sur un système d’exploitation Mac dans les tentatives de contournement des filtres qui bloquent les robots connues. - Réponse de Cloudflare
CloudFlare a radié la perplexité en tant que bot vérifié et a mis en œuvre de nouvelles règles de blocage pour empêcher la rampe furtive. - Implications SEO
Les utilisateurs de Cloudflare qui souhaitent que la perplexité rampait leurs sites peut souhaiter vérifier si CloudFlare bloque les robots de perplexité et, dans l’affirmative, permettent de ramper via leur tableau de bord CloudFlare.
CloudFlare a radié la perplexité en tant que bot vérifié après avoir découvert qu’il avait violé à plusieurs reprises les politiques de bots vérifiés en désobéissant à Robots.txt. Pour échapper à la détection, la perplexité a également fait pivoter les IP, a changé ASN et a usurpé son agent utilisateur pour apparaître comme un navigateur humain. La décision de Cloudflare de bloquer le bot est une réponse forte au comportement agressif du bot de la part de la perplexité.
Commentaires