Search Engine Roundtable 中文 关注 Google 关于 AI 爬虫的 robots.txt 规则,以及表情符号、国际化 URL 等内容 Gary Illyes 和 Chery Prommawin 发布了《非标准 Cabinet》系列的第二支视频,标题为《robots.txt 中实际上可以放什么?》。他们讨论了 robots.txt 文件支持和不支持的内容。虽然 Google 可能支持某些功能或指令,但其他搜索引擎或 AI 爬虫未必支持。 Google On robots.txt Rules For AI Crawlers, Emojis, International URLs & More seroundtable.com Search Engine Roundtable 中文 RSS thenote.app