个性化是 Netflix 等在线平台的关键功能，影响着用户的内容发现与参与度。然而，衡量个性化的真实价值面临重大挑战，因为推荐是基于预测的用户偏好进行的，这使得难以将推荐效应与内容本身的吸引力区分开来。简单地统计推荐内容的观看次数是不够的，因为它无法确立因果关系。完全关闭个性化以进行实验会损害用户体验，因此不可行。相反，研究人员开发了一种混合方法，结合行为模型与小规模 A/B 测试。该模型通过分离底层用户偏好与推荐的增量影响，来评估推荐如何同时影响观看决策和内容选择。该模型动态地表示用户偏好，捕捉过往观看历史如何塑造当前口味。它显式地对推荐在内容选择上的“额外”效应进行建模，反映了用户认知度和信息获取的提升。为了验证该模型在预测替代模式方面的准确性，研究人员将其与随机实验的结果进行了对比。这些实验通过引入内容可见性的外生变异，模拟了推荐算法的变化方式。该模型展现出强大的预测能力，其模拟的分流比率与实验估计值高度相关。利用经过验证的模型，研究人员进行了反事实分析，将当前的 Netflix 推荐系统与随机推荐、基于流行度的推荐以及基础矩阵分解推荐等基线进行了比较。当前系统在整体参与度方面显著优于这些基线：相比随机推荐，参与度降低了 16%；相比基于流行度的推荐，降低了 12%。即使与矩阵分解相比，当前系统也实现了 4% 的参与度提升。除了提升观看量之外，该模型还评估了消费多样性。当前系统在不同内容之间的观看分布更为广泛，而基于流行度和矩阵分解的推荐则导致了观看集中度的增加。随机推荐虽然提供了更高的多样性，但以大幅牺牲参与度为代价。因此，个性化不仅推动了更多的观看，还将用户匹配到更加多样化的内容集合中，反映了用户多样的口味。