Search Engine Journal на русском
Подписаться
OpenAI заявляет, что файл robots.txt может не применяться к боту для получения данных ChatGPT
Новые данные показывают, что бот ChatGPT для получения страниц посещает сайты, которые запретили ему доступ, а собственная документация OpenAI объясняет, почему файл может его не остановить.