GoogleのJohn Mueller氏は、昨年Cloudflareが考案した新しいContent Signals robots.txtディレクティブは、「いかなるクローラーやLLMに対しても一切効果がない」と述べました。彼はさらに、「robots.txtファイルに無駄と将来的なメンテナンスを追加するだけだ」と付け加えました。彼が知る限り、クローラーやLLMはいずれもcontent-signal robots.txtディレクティブを使用していないとのことです。