AIとMLの日本語ニュース

Google 以外の検索エンジンが Reddit の最近の結果を表示できなくなる

Redditで最近の議論がGoogle以外の検索エンジンで表示されなくなった。 Redditが内容ポリシーを更新し、RedditのサイトをクロールするにはRedditのルールに同意する必要があり、AIトレーニングにRedditの内容を使用するにはRedditの明確な許可が必要となったためである。 404 Mediaが報じたところによると、Bing、DuckDuckGo、MojeekなどのGoogle以外の検索エンジンで"site:reddit.com"を使用すると、過去1週間のRedditの結果がほとんど表示されません。Ars Technicaはこれらの検索エンジンで検索を行い、結果を確認しました。たとえばBraveは時々Redditの結果を表示します(例えばこれとこれ)が、Googleで同じ検索クエリーを使用しても結果が遥かに多く表示されます。Kagiは特に目を引く検索エンジンで、Googleの検索インデックスの一部を購入しているため、最近のRedditの結果が表示されます。 404 Mediaが指摘したように、Redditのロボット除外プロトコル(robots.txtファイル)はボットがサイトをスクリーピングすることをブロックしています。このプロトコルはまた、「Redditはオープンインターネットを信じていますが、公共コンテンツの悪用を信じません」と述べています。Redditはインターネットアーカイブや研究に焦点を当てる一部のエンティティのスクリーパーを承認しています。
favicon
arstechnica.com
Non-Google search engines blocked from showing recent Reddit results
Create attached notes ...