Airbnb 开发了一种基于 Transformer 的序列模型，通过理解用户随时间的行为来个性化房源推荐。传统方法依赖手工特征，难以扩展且表达能力受限。新模型解决了房源浏览量巨大以及预订相对于其他事件极为稀疏等挑战。它将用户历史划分为长期序列（包含低频但信息丰富的事件）和短期序列（最近的房源浏览）。为提升训练效率，他们实施了诸如批量搜索、利用分桶和稀疏计算来减少填充等策略。服务架构将计算密集的序列编码器与实时排序模型解耦，以实现低延迟。仅使用长期序列的初步测试已显示出改进效果，加入短期浏览序列后进一步提升。引入与序列编码器协同训练的集合级排序器后，排序质量得到更大提升。在线 A/B 测试证实了这些增益，显示出预订量和浏览量的显著增长。该系统的有效性也在推广邮件排序中得到验证，凸显了用户嵌入的泛化能力。这一新方法使 Airbnb 能够比以往更深入地理解用户偏好。未来工作包括实时更新、更丰富的事件类型以及生成式推荐器。