RSS Der Cloudflare Blog
Folgen
Perplexity nutzt heimliche, nicht deklarierte Crawler, um Website-No-Crawl-Anweisungen zu umgehen.
Perplexity ändert wiederholt ihren Benutzer-Agent und wechselt IPs und ASNs, um ihre Crawling-Aktivitäten zu verbergen, in direktem Widerspruch zu den expliziten keine-Crawl-Präferenzen, die von Websites ausgesprochen wurden.