Недавний пост на r/SEO осветил неожиданную блокировку Cloudflare определенных ИИ-краулеров, вызвавшую путаницу среди владельцев веб-сайтов. Блокировка в основном осуществляется через функцию Cloudflare "управляемый robots.txt", которая направлена на предотвращение доступа ИИ-краулеров к контенту. Однако конкретные директивы в файле robots.txt часто неверно истолковываются, что приводит к ошибочным предположениям о том, какие ИИ-сервисы затронуты.Управляемый файл robots.txt Cloudflare явно перечисляет восемь пользовательских агентов с примечанием, что тот, который отвечает за цитирование ChatGPT, отсутствует среди них. Хотя в файле упоминается блокировка GPTBot для обучающих данных, он не запрещает ИИ-краулерам поиска получать доступ к контенту. Агент Google-Extended, который часто ошибочно считают контролирующим AI Overviews, по заявлению Google, не влияет на включение в поиск или ранжирование.Строка контентного сигнала, search=yes, ai-train=no, use=reference, является соглашением Cloudflare и не предоставляет разрешения на создание ИИ-сводки. AI Overviews от Google контролируются стандартными элементами управления сниппетами, такими как nosnippet или noindex, а не конкретными директивами ИИ-краулеров. Крайне важно проверять robots.txt по сети через curl или браузер, поскольку файл, собранный на периферии, отличается от файла на диске.Управляемый robots.txt Cloudflare активируется переключателем "Block AI bots". Этот переключатель был введен 1 июля 2025 года, и новым доменам теперь задают вопросы о разрешениях для ИИ-краулеров во время онбординга. Недавнее обновление от 15 сентября 2026 года введет новые настройки по умолчанию, блокирующие краулеры для обучения на страницах с рекламой, что повлияет на многоцелевые краулеры, такие как Googlebot, для тех, у кого включена устаревшая опция "Block AI bots".Bot Fight Mode — это отдельная функция, которая выдает вызовы вместо изменения файла robots.txt и работает независимо от настроек блокировки ИИ. Perplexity был исключен из списка проверенных ботов Cloudflare и блокируется с помощью эвристики, а не директив robots.txt. Пользователям следует осознавать возможные неверные толкования функций блокировки ИИ-ботов Cloudflare и проверять свои настройки напрямую.