Search Engine Journal 日本語 フォロー OpenAI、robots.txtはChatGPTのフェッチボットに適用されない可能性があると述べる 新しいデータによると、ChatGPTのページ取得ボットが、それを禁止しているサイトにアクセスしていることが示されており、OpenAI自身のドキュメントには、そのファイルを停止できない理由が説明されています。 OpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot searchenginejournal.com Search Engine Journal 日本語 RSS thenote.app