Новое видео Google о robots.txt гласит, что стандарт охватывает сканирование, а не то, как используется контент, и рекомендует использовать кодировку процентов для путей robots.txt на неанглийском языке.