Pinterest 홈피드에서 임베딩 기반 검색은 다양한 사용자 의도를 충족하기 위해 개인화되고 매력적인 콘텐츠를 검색하는 주요 후보 생성기입니다. 팀은 모델 성능을 향상시키기 위해 고급 피처 크로싱과 ID 임베딩을 사용하는 투 타워 모델을 도입했습니다. 피처 크로싱은 모델의 핵심 구성 요소이며, 팀은 아키텍처의 확장성을 높이기 위해 MaskNet과 DHEN과 같은 다양한 기술을 실험했습니다. MaskNet은 모델 아키텍처를 단순화하고 광범위한 피처 크로싱으로 높은 학습 가능성을 제공하는 피처별 곱셈 기술입니다. DHEN은 직렬 및 병렬 방식으로 여러 개의 서로 다른 피처 크로싱 레이어를 앙상블하는 프레임워크로, 모델을 더욱 개선합니다. 팀은 또한 크로스 서피스 대규모 윈도우 데이터셋에서 샘플링된 네거티브 데이터에 대한 대조 학습을 통해 사전 훈련된 ID 임베딩을 채택했습니다. 그러나 임베딩을 직접 미세 조정하면 과적합이 발생할 수 있으며, 팀은 임베딩 테이블을 고정하고 공격적인 드롭아웃을 적용하여 이 문제를 완화할 수 있음을 발견했습니다. 또한 팀은 Pin의 점수를 결정하기 위해 시간 감쇠 합계로 전환하고 훈련 데이터와 서비스 코퍼스 간의 차이를 줄임으로써 서비스 코퍼스를 개선했습니다. 더불어 팀은 임베딩 기반 검색 모델의 성능을 더욱 향상시키기 위해 다중 임베딩 검색 및 조건부 검색과 같은 최첨단 모델링 기술을 탐색했습니다. 이러한 기술은 사용자 참여도와 추천 퍼널 효율성을 크게 향상시켰습니다.