저자들은 Pinterest의 광고 추천, 특히 관련 핀(Related Pins)과 같이 맥락에 특화된 표면에서의 추천을 개선하기 위해 Contextual Sequential Two Tower Model을 개발했습니다. 초기 모델은 실시간 맥락이 부족하여 과거 사용자 행동에만 의존했기 때문에 효과가 제한적이었습니다. 이를 해결하기 위해 모델 아키텍처에 맥락 레이어(context layer)를 통합하여 모델이 사용자의 현재 활동 정보를 통합할 수 있도록 했습니다. 훈련 중에는 전환 이벤트에서 파생된 의사 맥락(pseudo-context)을 주입하여 모델을 학습시키기 위해 합성 데이터를 사용했습니다. 하이브리드 서빙 흐름(hybrid serving flow)을 채택했는데, 사용자 타워(user tower) 처리의 대부분은 오프라인으로 수행되지만 맥락 레이어는 온라인으로 처리됩니다. 이를 통해 실시간 맥락의 영향을 받는 동적 사용자 임베딩(dynamic user embeddings)이 가능해져 관련성이 향상됩니다. 오프라인 평가에서는 이전 프로덕션 모델에 비해 Recall@K에서 상당한 개선을 보였습니다. 새로운 모델은 후보 생존율(candidate survival rates)을 높이고 광고 관련성을 개선했으며, 특히 관련 핀 표면에서 이러한 효과가 두드러졌습니다. 이는 광고 지출 대비 수익률(Return on Ad Spend, ROAS)을 포함한 측정 가능한 전환 관련 비즈니스 지표의 증가로 이어졌습니다. 향후 작업에는 검색(Search)과 같은 다른 표면으로 모델을 확장하고 교차 주의(cross-attention)와 같은 고급 융합 기법을 실험하는 것이 포함됩니다. 이 연구는 광고 관련성과 사용자 경험을 향상시키기 위해 실시간 맥락을 통합하는 것의 중요성을 보여줍니다.