Ein anonyme Leser teilt einen Bericht: Hunderte von Websites, die versuchen, die KI-Firma Anthropic daran zu hindern, ihren Inhalt zu scrapen, blockieren die falschen Bots, anscheinend weil sie veraltete Anweisungen in ihre robots.txt-Dateien kopieren und weil Unternehmen ständig neue KI-Crawler-Bots mit verschiedenen Namen starten, die nur blockiert werden, wenn Website-Betreiber ihre robots.txt-Dateien aktualisieren. Insbesondere blockieren diese Sites zwei Bots, die von der Firma nicht mehr verwendet werden, während sie unbewusst Anthropics tatsächlichen (und neuen) Scraper-Bot unblocken lassen. Dies ist ein Beispiel dafür, "wie chaotisch die robots.txt-Landschaft derzeit ist", erklärte der anonyme Betreiber von Dark Visitors gegenüber 404 Media. Dark Visitors ist eine Website, die das ständig wechselnde Landschaft von Web-Crawlern und Scrapern verfolgt - viele von ihnen von KI-Unternehmen betrieben - und die Website-Betreibern hilft, ihre robots.txt-Dateien regelmäßig zu aktualisieren, um bestimmte Arten von Scraping zu verhindern. Die Website hat aufgrund der zunehmenden Popularität, mit der Menschen versuchen, KI vom Scrapen ihrer Arbeit abzuhalten, eine enorme Zunahme an Beliebtheit erfahren. "Das Ökosystem der Agenten ändert sich schnell, so dass es für Website-Betreiber praktisch unmöglich ist, manuell Schritt zu halten. Zum Beispiel haben Apple (Applebot-Extended) und Meta (Meta-ExternalAgent) letzte Woche und letzten Monat jeweils neue hinzugefügt", fügte er hinzu.