Google объясняет, почему URL-а... Заметка
RSS Search Engine Journal

Google объясняет, почему URL-адреса, заблокированные Robots.txt, все еще могут быть проиндексированы

Search Console сообщил о 51 000 URL-адресов как «Проиндексировано, хотя заблокировано robots.txt», и Google утверждает, что это не обязательно является проблемой.