Perplexity는 웹사이트의 크롤링 금지 지시를 회... 노트

Perplexity는 웹사이트의 크롤링 금지 지시를 회피하기 위해 스텔스(은밀한) 상태의, 선언되지 않은 크롤러를 사용하고 있습니다.

Perplexity는 웹사이트가 명시적으로 금지한 크롤링 활동을 숨기기 위해 사용자 에이전트를 반복적으로 수정하고 IP 및 ASN을 변경하고 있습니다.
CdXz5zHNQW_RSswdMIyAG.png