利用对比强化学习塑造产品理解
Etsy 市场平台提供多样化的手工制品和独特商品,需要 nuanced 的理解才能实现有效的搜索与推荐。当前的产品信息虽然丰富,但往往是非结构化的,难以被机器学习模型充分利用。核心挑战在于弥合原始数据与定义每件商品吸引力的复杂细节之间的差距。解决方案采用强化学习方法和对比信号。该方法利用买家互动数据,微调大语言模型(LLM),生成强调区分性特征的简洁商品摘要。通过训练模型根据买家选择优先关注特定细节,从而提升相关性预测。模型在搜索交互数据上进行训练,对能够突出促使买家选择某一商品列表而非其他列表的特征的摘要给予奖励。这种强化学习驱动模型生成能够提升搜索相关性指标的摘要。人工评估和定量离线测试表明,这些摘要质量高,并对下游模型产生积极影响,提升了模型性能。该方法侧重于基于买家行为来理解商品,而非依赖僵化的定义,从而反映卖家的创造力。增强的商品理解最终帮助买家发现符合其偏好的商品,从而改善购物体验。生成的简洁摘要突出了区分相似商品列表的关键特征。该项目在展示重要商品细节方面表现出强大能力,相较于仅使用简单文本特征(如关键词)而言效果显著。