Gary IllyesとChery Prommawinは、Non-Canonical Cabinetシリーズの2番目のビデオを公開しました。このビデオの名前は「What can you actually put in a robots.txt?」です。ここでは、robots.txtファイルでサポートされているものとサポートされていないものについて議論しています。Googleは機能やディレクティブをサポートしているかもしれませんが、他の検索エンジンやAIクローラーはそうではない場合があります。