Google 的 John Mueller 表示，Cloudflare 去年推出的 Content Signals robots.txt 指令对任何爬虫或 LLM“没有任何影响”。他补充说，这“只会给您的 robots.txt 文件增加冗余和未来的维护负担”。据他所知，目前没有任何爬虫或 LLM 使用 content-signal robots.txt 指令。