Cloudflare напишет ваш Robots.... Заметка

Cloudflare напишет ваш Robots.txt, и в этом есть смысл

Синхронизация предпочтений бота устанавливает политику ИИ-краулера по категориям, а не по краулерам. Разрешите GPTBot и заблокируйте Bytespider, и ни один параметр не описывает, что вы делаете.