从活动到意图:利用大语言模型生成用户旅程 笔记

从活动到意图:利用大语言模型生成用户旅程

Pinterest 旨在理解用户的长期目标,即“旅程”(journeys),这是一系列与特定兴趣和意图相关的交互序列。这超越了仅基于单次点击推荐下一个物品的简单做法。识别这些旅程能够提供更相关的推荐和通知,帮助用户完成项目。最初,Pinterest 采用多阶段流水线通过聚类关键词并附加属性来推断旅程。该遗留系统提升了参与度指标,但存在碎片化、通用分桶以及来自无关点击的偶然噪声等问题。为解决这些问题,Pinterest 将旅程推断重构为生成任务,使用经过微调的 40 亿参数大语言模型(LLM)。该 LLM 直接读取用户的按时间顺序排列的活动日志,并以用户所在地区的语言输出排序后的旅程名称列表。该 LLM 的提示工程至关重要,它定义了操作重要性、事件分组,并处理诸如“不喜欢”等负向信号。前沿模型被用作教师,为微调更小、可投入生产的“学生”模型生成合成训练数据。选择 40 亿参数模型,是因为其在输出质量与服务效率之间取得了良好平衡。在大规模部署这些模型时,采用了诸如 PagedAttention 和连续批处理等复杂优化技术,以高效服务数亿用户。新的生成式系统成功整合了碎片化的旅程,提供了具体的名称,并重新引入了丢失的意图。这种方法为个性化提供了一套通用方案,不仅适用于 Pinterest,也适用于具有顺序用户活动和结构化意图目标的其他平台。
CdXz5zHNQW_wEiKzVPwD3.png