Search Engine Journal 日本語 フォロー Cloudflare が Robots.txt を作成し、それには意味がある Bot Preference Sync は、クローラーごとではなく、カテゴリごとにAIクローラーポリシーを設定します。GPTBotを許可し、Bytespiderをブロックしても、何をしているかの設定は記述されません。 Cloudflare Will Write Your Robots.txt, And It Has A Point searchenginejournal.com Search Engine Journal 日本語 RSS thenote.app