En anonym leser deler en rapport: Hundrevis av nettsteder som prøver å blokkere AI-selskapet Anthropic fra å scrape innholdet deres blokkerer feil bots, det ser ut til at de kopierer og limer inn gamle instruksjoner i robots.txt-filene sine, og fordi selskaper konstant lanserer nye AI-kryper-bots med forskjellige navn som bare vil bli blokkert hvis nettstedseierne oppdaterer robots.txt-filene sine. Spesielt blokkerer disse nettstedene to bots som ikke lenger brukes av selskapet, mens de uvitende lar Anthropics virkelige (og nye) scraper-bot være ublokkert.
Dette er et eksempel på "hvor mye rot det er i robots.txt-landskapet for tiden", sier den anonyme operatøren av Dark Visitors til 404 Media. Dark Visitors er et nettsted som sporer det konstant skiftende landskapet av web-krypere og scrapere - mange av dem drevet av AI-selskaper - og som hjelper nettstedseiere med å oppdatere robots.txt-filene sine for å forhindre spesielle typer scraping. Nettstedet har sett en stor økning i popularitet siden flere mennesker prøver å blokkere AI fra å scrape arbeidet deres. "Økosystemet av agenter endrer seg raskt, så det er nesten umulig for nettstedseiere å holde tritt manuelt. For eksempel la Apple (Applebot-Extended) og Meta (Meta-ExternalAgent) bare ut nye forrige måned og forrige uke, henholdsvis," la de til.
tech.slashdot.org
Websites are Blocking the Wrong AI Scrapers
Create attached notes ...