Perplexityは、クローリングを望まないという指示をrobots.txtファイルに記載しているウェブサイトを無視します。