GoogleのJohn Mueller氏が、Googlebotがrobots.txtのルールを無視する原因となりうるrobots.txtの奇妙な挙動について説明しています。