Websider blokerer de forkerte AI-scraperne

En anonym læser deler en rapport: Hundredvis af websites, der prøver at blokere AI-virksomheden Anthropic fra at scrape deres indhold, blokerer de forkerte bots, åbenbart fordi de kopierer og indsætter forældede instruktioner i deres robots.txt-filer, og fordi virksomheder konstant lancerer nye AI-kryber-bots med forskellige navne, som kun vil blive blokeret, hvis websideejere opdaterer deres robots.txt. Specifikt blokerer disse sites to bots, som ikke længere bruges af virksomheden, mens de uvilkårligt lader Anthropics reelle (og nye) scraper-bot blive ublokeret. Dette er et eksempel på "hvor meget af en rod, robots.txt-landskabet er lige nu", siger den anonyme operatør af Dark Visitors til 404 Media. Dark Visitors er en hjemmeside, der sporer det konstant skiftende landskab af web-krybere og scrapere - mange af dem drevet af AI-virksomheder - og som hjælper websideejere med at opdatere deres robots.txt-filer for at forhindre specifikke typer scraping. Siden har set en enorm øgning i popularitet, idet flere mennesker prøver at blokere AI fra at scrape deres arbejde. "Økosystemet af agenter ændrer sig hurtigt, så det er basalt umuligt for websideejere at holde trit manuelt. For eksempel tilføjede Apple (Applebot-Extended) og Meta (Meta-ExternalAgent) begge nye agenter sidste måned og sidste uge, henholdsvis," tilføjede de.