Cloudflare теперь позволяет всем сайтам управлять AI-краулерами как "Поиск", "Агент" или "Обучение", с настройками по умолчанию от 15 сентября, которые могут блокировать Googlebot для сайтов, блокирующих обучение.