Cloudflareは、すべてのサイトがAIクローラーをSearch、Agent、またはTrainingとして管理できるようにしました。9月15日のデフォルト設定では、トレーニングをブロックしているサイトではGooglebotをブロックできます。