Les moteurs de recherche non-Google bloqués pour afficher les résultats récents de Reddit

Les récentes discussions sur Reddit ne sont plus visibles dans les résultats de recherche des moteurs de recherche non-Google. L'absence est due à des mises à jour de la Politique de Contenu de Reddit qui interdisent de scraper son site sans accepter les règles de Reddit, qui interdisent l'utilisation de contenu Reddit pour l'entraînement de l'IA sans le consentement explicite de Reddit. Comme le rapporte 404 Media, en utilisant "site:reddit.com" sur des moteurs de recherche non-Google, tels que Bing, DuckDuckGo et Mojeek, cela ne produit que peu ou pas de résultats Reddit des dernières semaines. Ars Technica a effectué des recherches sur ces moteurs de recherche et d'autres et peut confirmer les constatations. Par exemple, Brave affiche parfois quelques résultats Reddit (exemples ici et ici), mais pas autant que ce qui apparaît sur Google en utilisant des requêtes identiques. Un cas notable est Kagi, qui est un moteur de recherche payant qui paie Google pour une partie de son index de recherche et affiche encore des résultats Reddit récents. Comme l'a noté 404 Media, le protocole d'exclusion de robots (fichier robots.txt) de Reddit bloque les bots pour scraper le site. Le protocole précise également : "Reddit croit en une Internet ouverte, mais pas en la mauvaise utilisation du contenu public." Reddit a approuvé des scrapers de l'Internet Archive et de certaines entités axées sur la recherche.