Google, AI 크롤러, 이모지, 국제 URL 등을 위한 robots.txt 규칙 발표
게리 일리예스와 체리 프롬마윈이 두 번째 비디오인 "Non-Canonical Cabinet" 시리즈를 공개했습니다. 이번 비디오의 제목은 "What can you actually put in a robots.txt?"입니다. 이 비디오에서 그들은 robots.txt 파일에 무엇이 포함될 수 있고 무엇이 포함될 수 없는지에 대해 논의합니다. 구글은 특정 기능이나 지시어를 지원할 수 있지만, 다른 검색 엔진이나 AI 크롤러는 그렇지 않을 수 있습니다.