에스티(Etsy)는 구매자 참여도와 판매자 가시성을 향상시키기 위해 광고 검색 순위 모델을 개선했습니다. 목표는 더 관련성이 높은 광고 목록을 표시함으로써 구매 의도를 더 잘 예측하는 것이었습니다. 이는 두 가지 주요 개선 사항을 통해 달성되었습니다. 멀티게이트 믹스처 오브 엑스퍼츠(Multigate Mixture of Experts, MMoE) 아키텍처를 통합하고, 장바구니에 추가를 보조 신호로 사용하는 것입니다.원래의 멀티태스크 모델은 클릭률(CTR)과 클릭 후 전환률(PCCVR)을 최적화했지만, 구매 여정의 후반부에서 데이터 희박성 문제를 겪었습니다. MMoE는 멀티태스크 학습에서 발생하는 "시소 현상"을 해결합니다. 여기서 하나의 태스크를 최적화하면 다른 태스크가 저하될 수 있습니다. MMoE는 전문가와 게이트를 도입하여 태스크가 고유한 패턴을 학습할 수 있으면서도 공유된 표현에서 이점을 얻을 수 있습니다.MMoE 아키텍처는 공유된 하위 계층과 전문가로 구성되어 있습니다. 여기서 전문가는 평행한 하위 네트워크로 다른 데이터 패턴을 학습합니다. 각 태스크에는 전문가 출력을 조합하는 방법을 제어하는 게이팅 네트워크가 있으며, CTR과 PCCVR 모두를 최적화합니다.MMoE를 조정하는 과정에는 전문가의 수, 크기, 유형을 실험하는 것이 포함되었습니다. 이질적인 전문가(DCN 및 MLP 기반)는 개선된 지표를 보여주었습니다. 그러나 전문가 사용과 전문화를 보장하는 것이 어려웠습니다.전문가 드롭아웃 및 온도 스케일링과 같은 정규화 기술을 사용하여 이러한 문제를 해결했습니다. 온도 스케일링은 전문가 선택의 확률 분포를 부드럽게 하여 전문가 사용과 전문화를 모두 촉진하는 데 더 효과적이었습니다.클릭과 구매 이외에도 에스티는 장바구니에 추가와 즐겨찾기와 같은 다른 사용자 상호작용의 가치를 인식했습니다. 이러한 동작은 높은 구매 의도를 나타내며, 구매보다 더 빈번하게 발생하여 모델에 더 강한 신호를 제공합니다.보조 태스크, 특히 장바구니에 추가를 도입하면 모델이 사용자 참여에 대한 더 일반화된 표현을 학습할 수 있습니다. 이는 더 빈번한 신호를 사용하여 희박한 구매 예측을 이점을 주어 궁극적으로 더 효과적인 순위 시스템을 만듭니다.