Nicht-Google-Suchmaschinen blockiert, um aktuelle Reddit-Ergebnisse anzuzeigen

Kürzlich auf Reddit geführte Diskussionen sind in Suchergebnissen von Nicht-Google-Suchmaschinen nicht mehr zu finden. Die Abwesenheit ist das Ergebnis von Aktualisierungen der Inhaltspolitik von Reddit, die das Crawlen der Website verbietet, ohne dass die Regeln von Reddit eingehalten werden, die die Verwendung von Reddit-Inhalten für die KI-Ausbildung ohne ausdrückliche Zustimmung von Reddit verbieten. Wie von 404 Media berichtet, führen Suchen mit "site:reddit.com" auf Nicht-Google-Suchmaschinen wie Bing, DuckDuckGo und Mojeek zu minimalen oder gar keinen Reddit-Ergebnissen aus der letzten Woche. Ars Technica hat Suchen auf diesen und anderen Suchmaschinen durchgeführt und kann die Ergebnisse bestätigen. Brave zeigt zum Beispiel manchmal einige Reddit-Ergebnisse (Beispiele hier und hier), aber nicht annähernd so viele wie bei Google mit identischen Abfragen. Eine Ausnahme ist Kagi, eine kostenpflichtige Suchmaschine, die Google für einige ihrer Suchindexe bezahlt und immer noch aktuelle Reddit-Ergebnisse zeigt. Wie 404 Media bemerkte, verbietet Reddits Robots Exclusion Protocol (Robots.txt-Datei) Bots, die Website zu scrapen. Das Protokoll erklärt auch, "Reddit glaubt an ein offenes Internet, aber nicht an den Missbrauch öffentlicher Inhalte." Reddit hat Scraper von der Internet Archive und einigen forschungsorientierten Organisationen genehmigt.