Netflixは、会員の好みを一元的に学習し、様々なレコメンデーションモデル全体の効率を向上させるための、レコメンデーション向け基盤モデルを開発しています。現在のシステムは、維持コストが高く、イノベーションの共有に苦労する特殊なモデルで構成されています。基盤モデルは、広範なユーザーインタラクション履歴とコンテンツデータから学習し、その学習内容を他のモデルに分配することを目指しています。大規模言語モデルに触発されたこのアプローチは、半教師あり学習を用いたデータ中心の戦略へと移行します。Netflixは、ユーザーインタラクションをトークン化し、データの粒度とシーケンス圧縮のバランスを取りながら、長期的なインタラクション履歴を処理します。スパースなアテンションメカニズムとスライディングウィンドウサンプリングを用いて、トレーニング中の計算効率を管理します。各トークンには、アクションとコンテンツに関する豊富な異種情報が含まれており、リクエスト時およびアクション後の特徴を利用します。このモデルは、GPTと同様の自己回帰的な次のトークン予測を目的としていますが、インタラクションの重要度のばらつきを考慮した修正が加えられています。モデルは複数のトークンを予測し、長期的な依存関係を捉え、精度を向上させるために補助的な予測目的を使用します。エンティティのコールドスタートに対処するため、このモデルはインクリメンタルトレーニングで構築されており、エンティティと入力のメタデータ情報を使用して、未見のエンティティでも推論できる能力を備えています。