"Джон Мюллер из Google заявил, что новая директива Content Signals robots.txt, изобретенная Cloudflare в прошлом году, "не имеет абсолютно никакого эффекта для любого краулера или LLM". Он добавил, что она "просто добавляет раздутость и будущие затраты на обслуживание в ваш файл robots.txt". Насколько ему известно, сказал он, ни один из краулеров или LLM не использует директивы content-signal robots.txt."