Search Engine Journal 中文 关注 OpenAI 表示 robots.txt 可能不适用于 ChatGPT 的抓取机器人 新数据显示,ChatGPT 的页面抓取机器人已访问到已禁止其访问的网站,而 OpenAI 自身的文档也解释了为何该文件可能无法阻止它。 OpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot searchenginejournal.com Search Engine Journal 中文 RSS thenote.app