Netflixのようなオンラインプラットフォームにおけるパーソナライゼーションは、ユーザーの発見とエンゲージメントに影響を与える重要な機能です。しかし、パーソナライゼーションの真の価値を測定することは、大きな課題となっています。なぜなら、レコメンデーションは予測されたユーザーの好みに基づいてターゲット設定されるため、レコメンデーションの効果とユーザーの魅力とを切り分けることが困難だからです。レコメンドされた視聴回数を単純に数えるという素朴なアプローチでは、因果関係を確立できないため不十分です。パーソナライゼーションを完全にオフにする実験を実行すると、ユーザーエクスペリエンスに悪影響を与えるため、実行可能な測定戦略ではありません。代わりに、研究者たちは行動モデルと小規模なA/Bテストを組み合わせたハイブリッドアプローチを開発しました。このモデルは、レコメンデーションが視聴決定とタイトル選択の両方にどのように影響するかを、ユーザーの根本的な好みとレコメンデーションの増分効果を分離することによって推定します。このモデルは、過去の視聴履歴が現在の好みをどのように形成するかを捉え、メンバーの好みを動的に表現します。また、レコメンデーションがタイトル選択に与える「ボーナス」効果を明示的にモデル化し、認知度と情報の増加を反映しています。タイトルの置換パターンを予測する上でのモデルの精度を検証するために、ランダム化された実験の結果と比較されました。これらの実験では、レコメンデーションアルゴリズムがどのように変化するかを模倣して、タイトルの可視性に外生的な変動が導入されました。モデルは強力な予測能力を示し、そのシミュレートされた逸話率は、実験的な推定値と高い相関を示しました。検証されたモデルを使用して、研究者たちは対数分析を実施し、現在のNetflixレコメンダーシステムを、ランダム、人気ベース、および基本的な行列分解レコメンデーションなどのベースラインと比較しました。現在のシステムは、集計エンゲージメントの点でこれらのベースラインを大幅に上回り、ランダムレコメンデーションでは16％、人気ベースのレコメンデーションでは12％削減しました。行列分解と比較しても、現在のシステムはエンゲージメントで4％の増加を示しました。視聴回数を増やすだけでなく、モデルは消費の多様性も評価しました。現在のシステムは、人気ベースおよび行列分解レコメンデーションとは異なり、タイトル全体でより広い視聴分布を維持しました。これらは視聴集中度を高めました。ランダムレコメンデーションはより多くの多様性を提供しましたが、エンゲージメントにはかなりのコストがかかりました。したがって、パーソナライゼーションは、より多くの視聴を促進するだけでなく、ユーザーを多様な好みを反映した、より多様なタイトルのセットにマッチさせています。