Google 关于 robots.txt 的新视频指出，该标准涵盖的是爬取行为，而非内容的使用方式，并建议对非英文的 robots.txt 路径进行百分号编码。