I siti web stanno bloccando gli scraper AI sbagliati

Un lettore anonimo condivide un rapporto: centinaia di siti web che tentano di bloccare l'azienda di intelligenza artificiale Anthropic dall'estrarre contenuti stanno bloccando i bot sbagliati, apparentemente perché stanno copiando e incollando istruzioni obsolete nei loro file robots.txt e perché le aziende lanciano costantemente nuovi bot di crawler AI con nomi diversi che saranno bloccati solo se i proprietari dei siti web aggiornano i loro file robots.txt. In particolare, questi siti stanno bloccando due bot non più utilizzati dall'azienda, lasciando inconsapevolmente il vero (e nuovo) bot di scraper di Anthropic non bloccato. Questo è un esempio di "quanto sia disordinato il paesaggio dei robots.txt al momento", ha detto l'operatore anonimo di Dark Visitors a 404 Media. Dark Visitors è un sito web che tiene traccia del paesaggio in continua evoluzione dei web crawler e degli scraper - molti di loro operati da aziende di IA - e che aiuta i proprietari dei siti web a aggiornare regolarmente i loro file robots.txt per prevenire tipi specifici di scraping. Il sito ha visto un'enorme aumento di popolarità mentre più persone tentano di bloccare l'IA dall'estrarre il loro lavoro. "L'ecosistema degli agenti sta cambiando rapidamente, quindi è fondamentalmente impossibile per i proprietari dei siti web tenere il passo manualmente. Ad esempio, Apple (Applebot-Extended) e Meta (Meta-ExternalAgent) hanno appena aggiunto nuovi bot il mese scorso e la settimana scorsa, rispettivamente", hanno aggiunto.