소프트 지시문은 크롤러가 사용 중단된 콘텐츠를 수집하는 것을 막을 수 없습니다. AI 트레이닝을 위한 리다이렉트는 클라우드플레어의 모든 사용자가 하나의 토글과 원본 변경 없이 검증된 크롤러를 표준 페이지로 리다이렉트할 수 있도록 합니다.