Персонализация — ключевая особенность онлайн-платформ, таких как Netflix, влияющая на обнаружение контента пользователями и их вовлеченность. Однако оценка истинной ценности персонализации представляет собой значительную проблему, поскольку рекомендации нацелены на основе предполагаемых предпочтений пользователя, что затрудняет отделение эффектов рекомендаций от привлекательности самого контента для пользователя. Наивный подход, заключающийся в подсчете просмотров рекомендованного контента, недостаточен, поскольку он не устанавливает причинно-следственную связь. Проведение экспериментов с полным отключением персонализации негативно скажется на пользовательском опыте и поэтому не является жизнеспособной стратегией измерения.Вместо этого исследователи разработали гибридный подход, сочетающий поведенческую модель с маломасштабными A/B-тестами. Эта модель оценивает, как рекомендации влияют как на решения о просмотре, так и на выбор контента, отделяя основные предпочтения пользователя от дополнительного влияния рекомендации. Модель динамически представляет предпочтения участников, фиксируя, как история просмотров формирует текущие вкусы. Она явно моделирует "бонусный" эффект рекомендаций на выбор контента, отражая повышенную осведомленность и информацию.Для проверки точности модели в прогнозировании паттернов замещения она была сравнена с результатами рандомизированных экспериментов. Эти эксперименты вводили экзогенные вариации в видимость контента, имитируя изменения в алгоритмах рекомендаций. Модель продемонстрировала высокую предсказательную силу, а ее смоделированные коэффициенты переключения показали высокую корреляцию с экспериментальными оценками.Используя валидированную модель, исследователи провели контрфактический анализ для сравнения текущей системы рекомендаций Netflix с базовыми уровнями, такими как случайные рекомендации, рекомендации на основе популярности и базовые рекомендации матричной факторизации. Текущая система значительно превзошла эти базовые уровни по совокупной вовлеченности, снизив ее на 16% для случайных рекомендаций и на 12% для рекомендаций на основе популярности. Даже по сравнению с матричной факторизацией, текущая система показала прирост вовлеченности на 4%.Помимо простого увеличения просмотров, модель также оценила разнообразие потребляемого контента. Текущая система поддерживала более широкое распределение просмотров по контенту, в отличие от рекомендаций на основе популярности и матричной факторизации, которые привели к увеличению концентрации просмотров. Случайные рекомендации обеспечивали большее разнообразие, но ценой значительного снижения вовлеченности. Таким образом, персонализация не только стимулирует большее количество просмотров, но и подбирает для пользователей более разнообразный набор контента, отражающий различные вкусы.