Джон Мюллер из Google объясняет особенность robots.txt, которая может привести к тому, что Googlebot проигнорирует правила robots.txt.