非Google搜索引擎被阻止显示最近Reddit结果

Reddit最近的讨论在非Google搜索引擎结果中不再显示。这种情况是由于Reddit更新了内容政策，禁止在未同意Reddit规则的情况下爬取其网站。这些规则禁止使用Reddit内容进行AI训练，除非Reddit明确同意。 正如404 Media报道的那样，在非Google搜索引擎中，如Bing、DuckDuckGo和Mojeek，使用“site:reddit.com”搜索词语后，过去一周内Reddit结果极少或不存在。Ars Technica在这些搜索引擎上进行了搜索，并确认了这些发现。例如，Brave搜索引擎有时会显示一些Reddit结果（例如这里和这里），但与Google使用相同查询词语时显示的结果相比，数量远远不及。Kagi是一个付费搜索引擎，它向Google支付了一些搜索索引，并仍然显示最近的Reddit结果。 正如404 Media所指出的那样，Reddit的机器人排除协议（robots.txt文件）阻止了机器人爬取该网站。该协议还表示，“Reddit信仰开放的互联网，但不容许公共内容的滥用。”Reddit已经批准了一些互联网档案馆和研究机构的爬虫。