Disallow AI Training от Cloudflare сохраняет доступность смешанных краулеров для поиска. Google и Apple соблюдают отказ от обучения; поддержка robots.txt для Bing ожидается.