演进 Pinterest 的嵌入检索平台
Pinterest 的发现引擎高度依赖嵌入检索,其动力源自其自研平台 Manas。Manas 支持数十亿个嵌入,覆盖多种产品界面,但在内存成本和模型表达能力方面面临扩展挑战。为此,Pinterest 正通过三项关键举措演进检索架构。首先,采用标量量化(Scalar Quantization)和乘积量化(Product Quantization)等量化技术,显著降低嵌入索引的内存占用和服务成本。其次,实施基于 SSD 的服务方案,具体采用 SPANN 结合 PQ 量化,将索引从昂贵的内存中迁移至 SSD,同时保持低延迟。与内存内解决方案相比,该方法大幅降低了内存使用和 CPU 成本。第三,Manas 正从限制性的双塔模型转向多嵌入检索,支持更丰富的评分函数和更细致的相似度评估。这一转变使得延迟交互模型成为可能,突破了候选项单向量表示的局限。未来计划包括进一步优化 SPANN 和 SPFresh 的成本、增强多嵌入支持,并探索基于 GPU 的检索系统。这些进展旨在构建一个可扩展、成本高效且创新的嵌入检索架构,服务于 Pinterest。