Claude Bots d’Anthropic rend les décisions Robots.txt plus granulaires
Anthropique a mis à jour sa documentation sur le robot cette semaine avec une présentation formelle de ses trois robots d’exploration Web et de leurs objectifs individuels. La page répertorie désormais ClaudeBot (collecte de données de formation), Claude-User (récupération de pages lorsque les utilisateurs de Claude posent des questions) et Claude-SearchBot (indexation du contenu pour […]