I motori di ricerca non Google bloccati dal mostrare i risultati recenti di Reddit

Le discussioni recenti su Reddit non compaiono più nei risultati delle ricerche su motori di ricerca non Google. L'assenza è il risultato delle modifiche alla Politica sui Contenuti di Reddit che vietano l'accesso al sito senza accettare le regole di Reddit, che vietano l'utilizzo dei contenuti di Reddit per l'addestramento AI senza il consenso esplicito di Reddit. Come riportato da 404 Media, utilizzando "site:reddit.com" su motori di ricerca non Google, tra cui Bing, DuckDuckGo e Mojeek, non vengono visualizzati risultati Reddit dagli ultimi sette giorni. Ars Technica ha eseguito ricerche su questi e altri motori di ricerca e può confermare i risultati. Ad esempio, Brave mostra talvolta alcuni risultati Reddit (esempi qui e qui), ma non altrettanti quanti appaiono su Google utilizzando query identiche. Un'eccezione è Kagi, che è un motore di ricerca a pagamento che paga Google per parte del suo indice di ricerca e mostra ancora risultati Reddit recenti. Come notato da 404 Media, il protocollo di esclusione dei robot (file robots.txt) di Reddit blocca i bot dall'accesso al sito. Il protocollo afferma anche: "Reddit crede in un Internet aperto, ma non nell'uso improprio dei contenuti pubblici". Reddit ha approvato scraper per l'Internet Archive e alcune entità di ricerca.