Googleの新しいrobots.txt動画によると、この標準はクロールを対象としており、コンテンツの使用方法には関わらないとのことです。また、英語以外のrobots.txtパスにはパーセントエンコーディングを推奨しています。