Etsy의 검색 관련성 팀은 구매자가 원하는 것을 정확히 찾고 판매자가 해당 구매자에게 도달할 수 있도록 돕는 것을 목표로 합니다. 그들은 참여 신호 외에도 대규모 언어 모델(LLM)을 사용하여 검색 결과를 개선하기 위해 의미론적 관련성 프레임워크를 개발했습니다. 이 프레임워크는 인간이 큐레이션한 데이터와 LLM을 사용하여 관련, 부분 관련, 관련 없음 범주를 만듭니다. 시스템은 LLM 주석자, 교사 모델, 그리고 정확성과 속도 측면에서 서로 다른 트레이드오프를 가진 학생 모델을 활용합니다. 이 3단계 시스템은 관련 없는 목록을 필터링하고, 기능을 풍부하게 하며, 순위 가중치를 조정하여 검색을 개선합니다. 이 프레임워크는 완전히 배포되었으며, 완전 관련 목록의 비율이 증가했습니다. Etsy는 관련성 이해를 개선하고, 세분화된 레이블을 탐색하며, 주석 노력을 줄이고, 다단계 모델을 간소화하여 추가적인 개선을 계획하고 있습니다.