Airbnb는 시간 경과에 따른 게스트 행동을 이해하여 숙소 추천을 개인화하기 위해 Transformer 기반 시퀀스 모델을 개발했습니다. 기존 방법은 수작업으로 만든 특징에 의존했는데, 이는 확장하기 어렵고 표현력을 제한했습니다. 새로운 모델은 엄청난 양의 숙소 조회수와 다른 이벤트에 비해 드문 예약과 같은 문제를 해결합니다. 게스트 기록을 드물지만 유익한 이벤트의 장기 시퀀스와 최근 숙소 조회수의 단기 시퀀스로 분할합니다. 학습 효율성을 높이기 위해 배치 검색, 버킷팅 및 희소 계산을 통한 패딩 최소화와 같은 전략을 구현했습니다. 서빙 설계는 낮은 지연 시간을 위해 계산 집약적인 시퀀스 인코더를 실시간 랭킹 모델과 분리합니다. 장기 시퀀스만 사용한 초기 테스트에서 개선이 나타났으며, 단기 조회 시퀀스를 추가하여 더욱 향상되었습니다. 시퀀스 인코더와 공동으로 학습된 세트별 랭커의 도입은 순위 품질을 더욱 향상시켰습니다. 온라인 A/B 테스트는 이러한 이득을 확인했으며, 예약 및 조회수의 상당한 증가를 보여주었습니다. 이 시스템의 효과는 프로모션 이메일 순위에서도 입증되었으며, 게스트 임베딩의 일반화 능력을 강조했습니다. 이 새로운 접근 방식은 Airbnb가 이전보다 게스트 선호도를 더 깊이 이해할 수 있도록 합니다. 향후 작업에는 실시간 업데이트, 더 풍부한 이벤트 유형, 생성 추천 시스템이 포함됩니다.