Webbplatser blockerar felaktiga AI-scrapers

En anonym läsare delar en rapport: Hundra-tals webbplatser som försöker blockera AI-företaget Anthropic från att skrapa deras innehåll blockerar fel botar, eftersom de kopierar och klistrar in föråldrade instruktioner i sina robots.txt-filer, och eftersom företag ständigt lanserar nya AI-skräpprobotar med olika namn som bara blockeras om webbplatsägarna uppdaterar sina robots.txt. Specifikt blockerar dessa webbplatser två botar som inte längre används av företaget, medan de ovetande lämnar Anthropics verkliga (och nya) skraprobot kvar oblockerad. Detta är ett exempel på "hur stor röra robots.txt-landskapet är just nu", säger den anonyma operatören av Dark Visitors till 404 Media. Dark Visitors är en webbplats som spårar det ständigt föränderliga landskapet av webbskräppare och skrapare - många av dem drivna av AI-företag - och som hjälper webbplatsägare att regelbundet uppdatera sina robots.txt-filer för att förhindra specifika typer av skrapning. Webbplatsen har sett en stor ökning i popularitet eftersom fler försöker blockera AI från att skrapa deras arbete. "Ekosystemet av agenter förändras snabbt, så det är i princip omöjligt för webbplatsägare att manuellt hålla jämna steg. Till exempel lade Apple (Applebot-Extended) och Meta (Meta-ExternalAgent) till nya så sent som förra månaden och förra veckan, respektive", tillade de.