最近のr/SEOの投稿で、Cloudflareが特定のAIクローラーを予期せずブロックしていることが取り上げられ、ウェブサイト所有者の間で混乱が生じています。このブロックは主にCloudflareの「管理robots.txt」機能を通じて管理されており、AIクローラーによるコンテンツへのアクセスを防ぐことを目的としています。しかし、robots.txtファイル内の特定のディレクティブはしばしば誤解され、どのAIサービスが影響を受けているかについて誤った仮定につながっています。Cloudflareの管理robots.txtファイルには8つのユーザーエージェントが明示的にリストされており、ChatGPTの引用を決定するものは含まれていないという注記があります。ファイルにはトレーニングデータのためにGPTBotをブロックすることが言及されていますが、AI検索クローラーによるコンテンツへのアクセスを防ぐものではありません。Google Overviewsを制御していると誤解されがちなGoogle-Extendedエージェントは、検索への掲載やランキングに影響しないとGoogleは述べています。content-signal行のsearch=yes, ai-train=no, use=referenceはCloudflareの規約であり、AI生成された要約の許可を与えるものではありません。GoogleのAI Overviewsは、nosnippetやnoindexのような標準的なスニペット制御によって管理されており、特定のAIクローラーディレクティブによるものではありません。ディスク上のファイルとは異なるエッジで組み立てられたファイルであるため、curlまたはブラウザ経由でネットワーク上でrobots.txtを確認することが重要です。Cloudflareの管理robots.txtは、「AIボットをブロック」トグルによって有効になります。このトグルは2025年7月1日に導入され、新規ドメインではオンボーディング中にAIクローラーの許可について質問されるようになりました。2026年9月15日の最近のアップデートでは、広告が表示されているページでのトレーニングクローラーをブロックする新しいデフォルトが導入され、レガシーな「AIボットをブロック」オプションが有効になっているユーザーにとって、Googlebotのような多目的クローラーに影響します。Bot Fight Modeは、robots.txtファイルを変更する代わりにチャレンジを発行する別の機能であり、AIブロック設定とは独立して動作します。PerplexityはCloudflareによって検証済みボットから除外され、robots.txtディレクティブではなくヒューリスティクスによってブロックされています。ユーザーはCloudflareのAIボットブロック機能の誤解の可能性に注意し、設定を直接確認する必要があります。