Ikke-Google-søkemotorer blokkert fra å vise nyeste Reddit-resultater

Nylige diskusjoner på Reddit vises ikke lenger opp i søkeresultater fra ikke-Google-søkemotorer. Fraværet skyldes oppdateringer av Reddits innholdspolitikk som forbyr å crawlere nettstedet uten å godta Reddits regler, som forbyr bruk av Reddit-innhold for AI-trening uten Reddits eksplisitte samtykke. Som rapportert av 404 Media, bruk av "site:reddit.com" på ikke-Google-søkemotorer, inkludert Bing, DuckDuckGo og Mojeek, gir minimalt eller ingen Reddit-resultater fra den siste uken. Ars Technica har utført søk på disse og andre søkemotorer og kan bekrefte funnene. Brave, for eksempel, bringer opp noen Reddit-resultater av og til (eksempler her og her), men ikke nær så mange som hva som vises på Google når man bruker identiske spørsmål. En utmerket unntak er Kagi, som er en betalt motor som betaler Google for noen av sine søkeindekser og fortsatt viser opp recente Reddit-resultater. Som 404 Media noterte, Reddits Robots Exclusion Protocol (robots.txt-fil) blokkerer bots fra å scrape nettstedet. Protokollen sier også, "Reddit tror på et åpent Internett, men ikke misbruk av offentlig innhold." Reddit har godkjent scrapere fra Internet Archive og noen forskningsfokuserte enheter.