Motores de busca não-Google bloqueados de mostrar resultados recentes do Reddit

Discussões recentes no Reddit não estão mais aparecendo nos resultados de busca de motores de busca não-Google. A ausência é resultado de atualizações na Política de Conteúdo do Reddit que proíbem a crawl do site sem concordar com as regras do Reddit, que proíbem o uso de conteúdo do Reddit para treinamento de IA sem o consentimento explícito do Reddit. Como relatado pela 404 Media, ao usar "site:reddit.com" em motores de busca não-Google, incluindo Bing, DuckDuckGo e Mojeek, traz resultados mínimos ou nenhum resultado do Reddit da semana passada. A Ars Technica fez buscas em esses e outros motores de busca e pode confirmar os achados. Por exemplo, o Brave às vezes traz alguns resultados do Reddit (exemplos aqui e aqui), mas não quase tantos quanto os que aparecem no Google ao usar consultas idênticas. Um destaque é o Kagi, que é um motor de busca pago que paga ao Google por parte de seu índice de busca e ainda mostra resultados recentes do Reddit. Como observou a 404 Media, o protocolo de exclusão de robôs do Reddit (arquivo robots.txt) bloqueia bots de scrapers do site. O protocolo também afirma: "O Reddit acredita em uma Internet aberta, mas não no mau uso de conteúdo público." O Reddit aprovou scrapers da Internet Archive e de algumas entidades focadas em pesquisa.