웹사이트들은 잘못된 AI 스크래퍼를 차단하고 있습니다.

익명 리더가 공유하는 보고서: 수백 개의 웹사이트가 AI 회사인 Anthropic에서 콘텐츠 스크래핑을 차단하려고 하지만 잘못된 봇을 차단하고 있는 것 같다. 이러한 웹사이트들은 Anthropic의 실제(및 새로운) 스크래퍼 봇을 차단하지 않고 있는 것 같다. 이러한 경우는 웹 크롤러와 스크래퍼의 지형이 현재 얼마나 혼란스러운지 보여주는 예시다. Dark Visitors의 익명 운영자는 404 Media에 "웹 크롤러와 스크래퍼의 지형이 얼마나 혼란스러운지 보여주는 예시"라고 말했다. Dark Visitors는 웹 크롤러와 스크래퍼의 지속적으로 변화하는 지형을 추적하고 웹사이트 소유자들이 특정 유형의 스크래핑을 방지하기 위해 robots.txt 파일을 업데이트하는 데 도움을 준다. AI가 콘텐츠를 스크래핑하는 것을 막으려는 사람들이 증가하면서 사이트의 인기가 크게 증가하고 있다. "에이전트 생태계가 빠르게 변화하고 있으므로 웹사이트 소유자들이 수동으로 이를 따라잡을 수 없다. 예를 들어, 애플(Applebot-Extended)과 메타(Meta-ExternalAgent)는 지난 달과 지난 주에 새로운 에이전트를 추가했다."