Google 关于 AI 爬虫的 robots.txt 规则... 笔记

Google 关于 AI 爬虫的 robots.txt 规则,以及表情符号、国际化 URL 等内容

Gary Illyes 和 Chery Prommawin 发布了《非标准 Cabinet》系列的第二支视频,标题为《robots.txt 中实际上可以放什么?》。他们讨论了 robots.txt 文件支持和不支持的内容。虽然 Google 可能支持某些功能或指令,但其他搜索引擎或 AI 爬虫未必支持。