Pinterestは、レコメンデーションモデルの最適化とインフラストラクチャコストの管理のために、リクエストレベルの重複排除を活用しています。この技術は、膨大なユーザーアクションシーケンスを含むリクエストレベルのデータの冗長な処理を回避します。重複排除により、ストレージの必要性が大幅に削減され、Apache Icebergを使用したユーザーが多いフィーチャーカラムではストレージ圧縮率が10〜50倍に達しました。リクエストソート済みデータを実装する際に、SyncBatchNormとユーザーレベルのマスキングを通じて問題に対処し、モデルの品質を維持しました。これにより、トレーニング速度が大幅に向上し、検索モデルで4倍、ランキングモデルで2.8倍の改善が見られました。また、サービングのスループットも向上し、Deduplicated Cross-Attention Transformer（DCAT）アーキテクチャを使用してランキングサービング容量を7倍に増加させることができました。この包括的なアプローチにより、ストレージ、トレーニング、サービング全体でインパクトのある改善が得られました。最終的に、リクエストレベルの重複排除は、シンプルでありながら効果的なソリューションを備えた、横断的な技術です。