Cloudflare는 이제 모든 사이트가 AI 크롤러를 Search, Agent 또는 Training으로 관리할 수 있도록 허용하며, 9월 15일부터는 Training을 차단하는 사이트의 경우 Googlebot을 차단할 수 있는 기본 설정이 적용됩니다.