作者开发了一种上下文序列双塔模型，以提升 Pinterest 的广告推荐效果，特别是在“相关图钉”（Related Pins）等特定上下文界面。初始模型缺乏实时上下文，仅依赖用户历史行为，导致其效果受限。为解决这一问题，他们在模型架构中集成了上下文层，使模型能够纳入用户当前活动的信息。在训练阶段，他们使用合成数据，通过注入源自转化事件的伪上下文来指导模型学习。系统采用混合服务流程：用户塔的大部分处理在离线完成，而上下文层在线处理。这使得动态用户嵌入能够受实时上下文影响，从而提升相关性。离线评估显示，与之前的生产模型相比，Recall@K 指标显著提升。新模型提高了候选广告的留存率并增强了广告相关性，尤其在“相关图钉”界面上表现突出。这带来了可衡量的转化相关业务指标增长，特别是广告支出回报率（ROAS）。未来工作包括将模型扩展至搜索等其他界面，并尝试高级融合技术，如交叉注意力（cross-attention）。这项工作证明了融入实时上下文对于提升广告相关性和用户体验的重要性。