双塔之外:启动三塔协同培训参与模式(第二部分) 笔记

双塔之外:启动三塔协同培训参与模式(第二部分)

Pinterest 开发了一种名为 Nexus 的新型轻量级排序模型,该模型超越了传统的双塔架构。Nexus 模型联合预测点击率(pCTR)、优质点击率(pGCTR30)和外链点击率(pOCTR)。为高效支持这些预测,针对每个任务对嵌入向量进行分段处理。Nexus 系统支持更复杂的模型架构,如交叉注意力机制和序列建模。然而,每次请求需对数十万候选项进行打分,带来了显著的延迟与成本挑战。为此,设计了一种三塔协同训练模型,将快速的双塔预测与更丰富的三塔预测相结合。该架构保留了原有的查询塔(query tower)和 Pin 塔,以实现高效的缓存与点积预测。同时引入第三个交叉塔(cross tower),利用用户序列与候选特征之间的注意力机制,并通过交互模块(inter module)融合这些嵌入向量。模型采用协同训练方式,既能为所有候选项生成快速分数,又能为子集生成更准确的分数。该方法通过将计算资源分配至影响最大的位置,实现了性能与延迟的平衡:交叉塔捕捉高阶交互,交互模块则为所有任务生成共享表示。训练过程采用多任务损失函数,对主要的三塔损失赋予更高权重,而辅助的双塔协同训练损失权重较低。这确保了三塔预测成为主要优化目标,同时保持快速双塔预测的质量。实施了一系列显著的推理优化以控制计算成本,包括在 Pin 塔中对 Pin 特征进行预处理以避免每次请求的计算开销,以及采用 BF16 低精度推理。这些优化大幅降低了 P99 模型推理时间,使得三塔方法在大规模场景下具备可行性。综合改进带来了显著的离线损失下降,并推动了线上业务指标的积极提升。
CdXz5zHNQW_1jHfrOQVr3.png