최근 r/SEO 게시물에서 Cloudflare가 특정 AI 크롤러를 예기치 않게 차단하여 웹사이트 소유자들 사이에 혼란을 야기했다는 점이 강조되었습니다. 이 차단은 주로 Cloudflare의 "관리형 robots.txt" 기능을 통해 이루어지며, 이는 AI 크롤러가 콘텐츠에 접근하는 것을 방지하기 위한 것입니다. 그러나 robots.txt 파일의 특정 지시어는 종종 오해되어 어떤 AI 서비스가 영향을 받는지에 대한 잘못된 추측을 불러일으킵니다.Cloudflare의 관리형 robots.txt 파일은 8개의 사용자 에이전트를 명시적으로 나열하며, ChatGPT 인용을 결정하는 것은 포함되지 않는다는 메모가 있습니다. 파일에는 훈련 데이터를 위해 GPTBot을 차단한다고 언급되어 있지만, AI 검색 크롤러가 콘텐츠에 접근하는 것을 방지하지는 않습니다. Google의 AI 오버뷰를 제어한다고 잘못 생각되는 Google-Extended 에이전트는 Google에 의해 검색 포함 또는 순위에 영향을 미치지 않는다고 명시되어 있습니다.content-signal 라인, search=yes, ai-train=no, use=reference는 Cloudflare의 관례이며 AI 생성 요약에 대한 허가를 부여하지 않습니다. Google의 AI 오버뷰는 특정 AI 크롤러 지시어가 아닌 nosnippet 또는 noindex와 같은 표준 스니펫 제어에 의해 제어됩니다. 디스크에 있는 파일과 다르므로 curl 또는 브라우저를 통해 네트워크를 통해 robots.txt를 확인하는 것이 중요합니다.Cloudflare의 관리형 robots.txt는 "Block AI bots" 토글에 의해 활성화됩니다. 이 토글은 2025년 7월 1일에 도입되었으며, 이제 신규 도메인에는 온보딩 중에 AI 크롤러 권한에 대한 질문이 표시됩니다. 2026년 9월 15일의 최근 업데이트에서는 광고가 있는 페이지에서 훈련 크롤러를 차단하는 새로운 기본값이 도입되어, 레거시 "Block AI bots" 옵션이 활성화된 사용자에게는 Googlebot과 같은 다목적 크롤러에 영향을 미칩니다.Bot Fight Mode는 robots.txt 파일을 수정하는 대신 챌린지를 발행하는 별도의 기능이며, AI 차단 설정과 독립적으로 작동합니다. Perplexity는 Cloudflare에 의해 인증된 봇으로 등록 해제되었으며 robots.txt 지시어가 아닌 휴리스틱을 통해 차단됩니다. 사용자는 Cloudflare의 AI 봇 차단 기능에 대한 잠재적인 오해를 인지하고 설정을 직접 확인해야 합니다.