Ikke-Google-søgemaskiner blokeret fra at vise seneste Reddit-resultater

Seneste diskussioner på Reddit vises ikke længere i søgeresultater fra ikke-Google-søgemaskiner. Fraværet skyldes opdateringer til Reddits Indholdspolitik, der forbyder at crawle sitet uden at acceptere Reddits regler, som forbuder brug af Reddit-indhold til AI-træning uden Reddits udtrykkelige samtykke. Som rapporteret af 404 Media, ved at bruge "site:reddit.com" på ikke-Google-søgemaskiner, herunder Bing, DuckDuckGo og Mojeek, vises minimalt eller ingen Reddit-resultater fra den sidste uge. Ars Technica har foretaget søgninger på disse og andre søgemaskiner og kan bekræfte fundene. Brave viser for eksempel nogle Reddit-resultater nogle gange (eksempler her og her), men langt færre end hvad der vises på Google, når man bruger identiske spørgsmål. En undtagelse er Kagi, som er en betalt motor, der betaler Google for nogle af sine søgeindex og stadig viser seneste Reddit-resultater. Som 404 Media bemærkede, blokerer Reddits Robots Exclusion Protocol (robots.txt-fil) bots fra at scrape sitet. Protokollen fastslår også, "Reddit tror på et åbent internet, men ikke misbrug af offentligt indhold." Reddit har godkendt scrapere fra Internet Archive og nogle forskningsfokuserede enheder.