Un ingénieur Google a averti que les agents de l’IA et les robots automatisés inonderont bientôt Internet de trafic.
Gary Illyes, qui travaille dans l’équipe des relations de recherche de Google, a déclaré que «tout le monde et ma grand-mère lance un robot» lors d’un récent podcast.
L’avertissement provient de la dernière recherche de Google sur le podcast d’enregistrement épisode.
Les agents de l’IA essaient les sites Web
Au cours de sa conversation avec le membre de l’équipe des relations de recherche, Martin Splitt, Illyes a averti que les agents de l’IA et les «Shenanigans de l’IA» seront des sources importantes de nouveau trafic Web.
Illyes a dit:
«Le Web est congestionné… ce n’est pas quelque chose que le Web ne peut pas gérer… le Web est conçu pour pouvoir gérer tout ce trafic même s’il est automatique.»
Cette vague se produit lorsque les entreprises déploient des outils d’IA pour la création de contenu, la recherche concurrente, l’analyse du marché et la collecte de données. Chaque outil nécessite des sites Web rampants pour fonctionner, et avec la croissance rapide de l’adoption de l’IA, ce trafic devrait augmenter.
Comment fonctionne le système Crawler de Google
Le podcast fournit une discussion détaillée de la configuration rampante de Google. Plutôt que d’employer différents robots pour chaque produit, Google a développé un système unifié.
Google Search, Adsense, Gmail et d’autres produits utilisent la même infrastructure de robot. Chacun s’identifie avec un nom d’agent utilisateur différent, mais tous adhèrent aux mêmes protocoles pour Robots.txt et Server Health.
Illyes a expliqué:
« Vous pouvez récupérer avec Internet, mais vous devez spécifier votre propre chaîne d’agent utilisateur. »
Cette approche unifiée garantit que tous les Crawlers de Google adhèrent aux mêmes protocoles et réduisaient lorsque les sites Web rencontrent des difficultés.
Le vrai porc de ressource? Ça ne rampe pas
Illyes a contesté la sagesse du référencement conventionnel avec une affirmation potentiellement controversée: la rampe ne consomme pas de ressources importantes.
Illyes a déclaré:
«Ce n’est pas rampant qui mange les ressources, c’est l’indexation et le service potentiellement ou ce que vous faites avec les données.»
Il a même plaisanté en disant qu’il «se ferait crier sur Internet» pour avoir dit cela.
Cette perspective suggère que la récupération des pages utilise des ressources minimales par rapport au traitement et au stockage des données. Pour ceux qui sont préoccupés par le budget d’exploration, cela pourrait modifier les priorités d’optimisation.
De milliers à des milliers de milliers: la croissance du Web
Les Googlers ont fourni un contexte historique. En 1994, le moteur de recherche de ver World Wide Web n’a informé que 110 000 pages, tandis que Webcrawler a réussi à indexer 2 millions. Aujourd’hui, les sites Web individuels peuvent dépasser des millions de pages.
Cette croissance rapide a nécessité une évolution technologique. Les Crawlers ont progressé des protocoles HTTP 1.1 de base au HTTP / 2 moderne pour des connexions plus rapides, avec une prise en charge HTTP / 3 à l’horizon.
Bataille d’efficacité de Google
Google a passé l’année dernière à essayer de réduire son empreinte rampante, reconnaissant le fardeau des propriétaires du site. Cependant, de nouveaux défis continuent de survenir.
Illyes a expliqué le dilemme:
« Vous avez économisé sept octets de chaque demande que vous faites, puis ce nouveau produit en ajoutera huit. »
Chaque gain d’efficacité est compensé par de nouveaux produits d’IA nécessitant plus de données. Il s’agit d’un cycle qui ne montre aucun signe d’arrêt.
Ce que les propriétaires de sites Web devraient faire
La prochaine vague de trafic nécessite une action dans plusieurs domaines:
- Infrastructure: L’hébergement actuel peut ne pas prendre en charge la charge attendue. Évaluez la capacité du serveur, les options CDN et les temps de réponse avant que l’afflux ne se produise.
- Contrôle d’accès: Revoir les règles Robots.TXT pour contrôler les robots de l’IA peuvent accéder à votre site. Bloquez les robots inutiles tout en permettant à ceux légitimes de fonctionner correctement.
- Performance de la base de données: Illyes a spécifiquement souligné que les «appels de base de données coûteux» sont problématiques. Optimiser les requêtes et implémenter la mise en cache pour atténuer la déformation du serveur.
- Surveillance: Différencier entre les robots légitimes, les agents d’IA et les robots malveillants grâce à une analyse des journaux approfondie et à un suivi des performances.
Le chemin à terme
Illyes a souligné la rampe commune comme un modèle potentiel, qui rampe une fois et partage les données publiquement, réduisant le trafic redondant. Des solutions collaboratives similaires peuvent émerger à mesure que le Web s’adapte.
Alors qu’Allyes a exprimé sa confiance dans la capacité du Web à gérer l’augmentation du trafic, le message est clair: les agents d’IA arrivent en nombre massif.
Les sites Web qui renforcent maintenant leur infrastructure seront mieux équipés pour résister à la tempête. Ceux qui attendent peuvent se retrouver submergés lorsque toute la force de la vague frappe.
Écoutez l’épisode du podcast complet ci-dessous:
https://www.youtube.com/watch?v=iggugonz1e
Image en vedette: Collagerie / Shutterstock
Commentaires