Cloudflare 的“禁止 AI 训练”功能保留了混合用途爬虫用于搜索。Google 和 Apple 已遵守训练退出机制；Bing 对 robots.txt 的支持尚待完成。