Pinterestの埋め込み取得プラットフォームの進化 ノート

Pinterestの埋め込み取得プラットフォームの進化

Pinterestの発見エンジンは、社内プラットフォームManasによって強化された埋め込み取得に大きく依存しています。Manasは、さまざまな製品サーフェスにわたる数十億の埋め込みをサポートしていますが、メモリコストとモデル表現力においてスケーリングの課題に直面しています。これに対処するため、3つの主要な取り組みを通じて取得スタックを進化させています。第一に、Scalar QuantizationやProduct Quantizationなどの量子化技術を採用し、埋め込みインデックスのメモリフットプリントとサービングコストを大幅に削減しています。第二に、SSDベースのサービング、特にPQ量子化を使用したSPANNを実装し、高価なRAMからインデックスを移動させながら低遅延を維持しています。このアプローチは、インメモリソリューションと比較してメモリ使用量とCPUコストを劇的に削減します。第三に、Manasは制限的な2タワーモデルからマルチ埋め込み取得へと移行し、より豊富なスコアリング関数とよりニュアンスのある類似性評価を可能にしています。この移行により、候補の単一ベクトル表現を超えた、レイトインタラクションモデルが可能になります。今後の計画には、SPANNとSPFreshによるコストのさらなる最適化、マルチ埋め込みサポートの強化、GPUベースの取得システムの探索が含まれます。これらの進歩は、Pinterestのためのスケーラブルでコスト効率が高く、革新的な埋め込み取得アーキテクチャを作成することを目指しています。
CdXz5zHNQW_HJwkDbk2Uz.png