Pinterest의 광고는 사용자에게 영감을 주고 쇼핑 여정에 자연스럽게 통합되도록 하는 것을 목표로 합니다. 빠르게 변화하는 사용자 행동을 이해하는 것이 관련성 높은 광고를 노출하는 데 중요합니다. 기존의 타겟팅 방식은 사용자 의도의 미묘한 차이를 놓치는 경우가 많습니다. Pinterest 광고팀은 광고 후보 생성 개선을 위해 고급 행동 시퀀스 모델링을 개발했습니다. 초기에는 트랜스포머 기반 모델이 사용자가 다음에 상호작용할 광고주를 예측했습니다. 이 광고주 수준 모델은 프로덕션에서 전환량의 상당한 증가와 CPA 감소를 달성했습니다. 이를 바탕으로 팀은 사용자가 참여할 특정 제품을 예측하기 위한 아이템 수준 모델을 개발했습니다. 이 모델은 풍부한 핀 임베딩과 카탈로그 메타데이터를 사용하여 세분화된 표현을 제공합니다. 아이템 수준 모델 또한 사용자 체크아웃 성능의 상당한 개선과 CPA 감소를 보여주었습니다. 학습 내용에는 인기 편향 처리, 희소 피처 처리, 시퀀스 길이 최적화 등이 포함되었습니다.