Google의 새로운 robots.txt 동영상은 해당 표준이 크롤링을 다루며 콘텐츠가 어떻게 사용되는지는 다루지 않는다고 말하며, 영어 이외의 robots.txt 경로에 대해서는 퍼센트 인코딩을 권장합니다.