Icke-Google-sökmotorer blockerade från att visa senaste Reddit-resultat

Senaste diskussionerna på Reddit visas inte längre i sökresultaten från icke-Google-sökmotorer. Frånvaron är ett resultat av uppdateringar av Reddits innehållspolicy som förbjuder att crawla webbplatsen utan att godkänna Reddits regler, vilka förbjuder att använda Reddit-innehåll för AI-utbildning utan Reddits uttryckliga samtycke. Som rapporterats av 404 Media, när man använder "site:reddit.com" på icke-Google-sökmotorer, inklusive Bing, DuckDuckGo och Mojeek, visas minimala eller inga Reddit-resultat från den senaste veckan. Ars Technica har gjort sökningar på dessa och andra sökmotorer och kan bekräfta resultaten. Brave, till exempel, visar ibland några Reddit-resultat (exempel här och här), men inte nästan lika många som visas på Google när man använder identiska frågor. En utmärkande är Kagi, som är en betal-sökmotor som betalar Google för några av sina sökindex och fortfarande visar aktuella Reddit-resultat. Som 404 Media noterade, Reddits Robots Exclusion Protocol (robots.txt-fil) blockerar botar från att skrapa webbplatsen. Protokollet säger också, "Reddit tror på ett öppet internet, men inte på missbruk av offentligt innehåll." Reddit har godkänt skrapare från Internet Archive och vissa forskningsinriktade enheter.