Pinterestホームフィードのための条件付き学習済み検索のスケールアップ
Pinterestのホームフィードは、レコメンデーションシステムを改善することで、ユーザーに関連性の高いピンを取得することを目指しています。当初は、ユーザーとアイテムを個別にエンコードする2タワーモデルが使用されていましたが、ユーザーの複数の関心事に対応するのが困難でした。これを解決するために、明示的な検索コンテキストに基づいてユーザー埋め込みを条件付けるConditional Learned Retrieval(CLR)が開発されました。以前の研究では、通知のためにCLRをブートストラップしたり、ホームフィード用のマルチ埋め込みフレームワークに統合したりすることが検討されていました。このブログでは、Pinterestのホームフィードのためのより広範な検索システムへのCLRの進化について詳しく説明します。CLRは、Interest、Pin、Boardなどの新しい条件タイプを組み込むことで、多様な検索候補をサポートするように拡張されました。Interest条件は当初、ユーザーシグナルからブートストラップされ、その後LLM生成のInterestで強化されました。Pin条件は、エンゲージしたピンをクラスタリングし、埋め込みで表現することを含み、CLRがレガシー生成器を置き換えることを可能にしました。Board条件は、Pin-Boardグラフ上のランダムウォークを使用して作成され、Boardを埋め込みで表現しました。モデルの基盤は、シーケンスモデリングと改善された条件表現を使用してスケーリングされました。Conditioned User Sequence Transformerが導入され、ユーザーアクションを条件トークンと共にエンコードすることで、CLRをシーケンス認識可能にしました。これは、グローバルなユーザーシーケンスでトレーニングされた大規模なトランスフォーマーを統合した、Foundation ModelベースのCLRアーキテクチャに進化しました。この基盤モデルは、ユーザーとアイテムの両方のタワーで共有のPin埋め込みを使用し、対照的なアライメント損失を組み込んでいます。条件表現は、単一のモデル内で異種の条件を処理するために統合され、重複作業を削減しました。Unified CLRは、異なる条件タイプを1つのモデルに統合し、複数の条件を受け入れ、欠落している特徴量を補完します。ルーターの簡素化は、異なる埋め込みタイプの定義済みのスロットを持つ、条件に依存しないスロットアーキテクチャにルーティングロジックをリファクタリングすることを含みました。CLRのトレーニング効率は、トレーニングスループットを倍増させたロスレスインフラストラクチャの最適化によって向上しました。リクエストレベルのトレーニングは、バッチ内の同一のユーザー特徴量を重複排除し、さらなる最適化が進行中です。このシステムは現在、本番規模でマルチ条件検索を効率的に処理し、より多様で関連性の高いコンテンツを通じてユーザーエンゲージメントを向上させています。