Two Towersを超えて:3-Towerエンゲージメント... ノート

Two Towersを超えて:3-TowerエンゲージメントCo-Trainモデルのローンチ(パート2)

Pinterestは、従来の2タワーアーキテクチャを超えた、Nexusと呼ばれる新しい軽量ランキングモデルを開発しました。このモデルは、クリック率(pCTR)、良好なクリック率(pGCTR30)、およびアウトバウンドクリック率(pOCTR)を共同で予測します。これらの予測を効率的にサポートするために、各タスクで埋め込みがセグメント化されます。Nexusシステムは、クロスアテンションやシーケンスモデリングのような、より複雑なモデルアーキテクチャを可能にします。しかし、リクエストごとに数十万件の候補をスコアリングすることは、レイテンシとコストの大きな課題となります。これに対処するため、高速な2タワー予測と、よりリッチな3タワー予測を組み合わせた3タワー共同学習モデルが設計されました。このアーキテクチャは、効率的なキャッシュとドット積予測のために、元のクエリとPinタワーを保持します。ユーザーシーケンスと候補機能間のアテンションを使用する3番目のクロス タワーと、これらの埋め込みを組み合わせるためのインターモジュールを導入します。モデルは共同学習され、すべての候補に対して高速なスコアを、サブセットに対してより正確なスコアを可能にします。このアプローチは、最も影響力のある場所に計算を割り当てることで、パフォーマンスとレイテンシのバランスを取ります。クロス タワーは高次の相互作用を捉え、インターモジュールはすべてのタスクに対して共有表現を生成します。トレーニングプロセスでは、補助的な2タワー共同学習損失よりも、主要な3タワー損失をより重く重み付けするマルチタスク損失関数を採用します。これにより、3タワー予測が主要な最適化ターゲットとなり、高速な2タワー予測の品質が維持されます。計算コストを管理するために、大幅なサービング最適化が実装されました。これには、リクエストごとの計算を回避するためのPinタワーでのPin機能のプリプロセスと、BF16を使用した低精度推論の活用が含まれます。これらの最適化により、P99モデル推論時間が劇的に短縮され、3タワーアプローチが大規模で実用的になりました。これらの変更の組み合わせにより、オフラインでの損失が大幅に減少し、オンラインでのビジネス指標も改善されました。
CdXz5zHNQW_1jHfrOQVr3.png