Verkkosivustot estävät väärät AI-kaivurit

Anonyymi lukija jakaa raportin: Satoja verkkosivustoja, jotka yrittävät estää AI-yritys Anthropicin hakkeroiden sisältöä, estävät väärät botit, nähtävästi koska he kopioivat vanhentuneita ohjeita robots.txt-tiedostoihinsa ja koska yritykset käynnistävät jatkuvasti uusia AI-hakkeri-botteja eri nimillä, jotka estävät vain, kun verkkosivustot päivittävät robots.txt-tiedostonsa. Erityisesti nämä sivustot estävät kaksi bottia, joita yritys ei enää käytä, kun taas yrityksen todellinen (ja uusi) hakkeribotti jää estämättä. Tämä on esimerkki siitä, "kuinka kaaosmaista robots.txt-maastoon on tällä hetkellä", anonyymi Dark Visitors -sivuston operoija kertoi 404 Media -uutiskanavalle. Dark Visitors on verkkosivusto, joka seuraa jatkuvasti muuttuvaa web-hakkerien ja -hakkeribottien maisemaa - monia niistä operoi AI-yritykset - ja auttaa verkkosivustoja päivittämään robots.txt-tiedostonsa estääkseen tietynlaisen hakkeroinnin. Sivusto on nähnyt suuren suosion kasvun, kun enemmän ihmisiä yrittää estää AI:n hakkeroinnin. "Agenttien ekosysteemi muuttuu nopeasti, joten on käytännössä mahdotonta verkkosivustoille pitää käsiä päivittäin. Esimerkiksi Apple (Applebot-Extended) ja Meta (Meta-ExternalAgent) lisäsivät uusia viimeksi kuussa ja viimeksi viikolla", he lisäsivät.