著者らは、Pinterestにおける広告レコメンデーション、特にRelated Pinsのようなコンテキスト固有のサーフェスを改善するために、Contextual Sequential Two Tower Modelを開発しました。初期のモデルはリアルタイムのコンテキストが欠如しており、過去のユーザー行動のみに依存していたため、その効果が妨げられていました。これを解決するために、モデルのアーキテクチャにコンテキスト層を統合し、モデルがユーザーの現在の活動からの情報を組み込めるようにしました。学習中には、コンバージョンイベントから派生した疑似コンテキストを注入した合成データを使用して、モデルを学習させました。ハイブリッドサービングフローが採用され、ユーザータワー処理のほとんどはオフラインで行われますが、コンテキスト層はオンラインで処理されます。これにより、リアルタイムのコンテキストに影響される動的なユーザー埋め込みが可能になり、関連性が向上します。オフライン評価では、以前のプロダクションモデルと比較してRecall@Kが大幅に改善されました。新しいモデルは、候補の生存率を向上させ、特にRelated Pinsサーフェスでの広告の関連性を改善しました。これにより、特にReturn on Ad Spend (ROAS) において、コンバージョン関連のビジネス指標が測定可能な増加を示しました。今後の作業には、Searchのような他のサーフェスへのモデルの拡張や、クロスアテンションのような高度なフュージョン技術の実験が含まれます。この研究は、広告の関連性とユーザーエクスペリエンスを向上させるために、リアルタイムのコンテキストを組み込むことの重要性を示しています。