Zoekmachines die geen Google zijn, worden geblokkeerd van het tonen van recente Reddit-resultaten

Recente discussies op Reddit verschijnen niet langer in zoekresultaten van niet-Google-zoekmachines. Het ontbreken is een gevolg van updates aan Reddit's Content Policy, die crawlen op de site verbieden zonder de regels van Reddit te accepteren, die het gebruik van Reddit-inhoud voor AI-training verbieden zonder expliciete toestemming van Reddit. Zoals gemeld door 404 Media, gebruikt "site:reddit.com" op niet-Google-zoekmachines, waaronder Bing, DuckDuckGo en Mojeek, minimale of geen Reddit-resultaten van de afgelopen week. Ars Technica heeft zoekopdrachten gedaan op deze en andere zoekmachines en kan de bevindingen bevestigen. Brave, bijvoorbeeld, toont soms een paar Reddit-resultaten (voorbeelden hier en hier), maar lang niet zoveel als wat op Google verschijnt bij het gebruik van identieke zoekopdrachten. Een opvallende uitzondering is Kagi, een betaalde motor die Google betaalt voor een deel van zijn zoekindex en nog steeds recente Reddit-resultaten toont. Zoals 404 Media opmerkte, blokkeert Reddit's Robots Exclusion Protocol (robots.txt-bestand) bots om de site te scrapen. Het protocol stelt ook, "Reddit gelooft in een open internet, maar niet in het misbruik van openbare inhoud." Reddit heeft scrapers goedgekeurd van het Internet Archive en enkele onderzoekgerichte entiteiten.