넷플릭스와 같은 온라인 플랫폼에서 개인화는 사용자 발견 및 참여에 영향을 미치는 핵심 기능입니다. 그러나 개인화의 진정한 가치를 측정하는 것은 상당한 과제를 제시합니다. 추천은 예측된 사용자 선호도를 기반으로 타겟팅되므로 추천 효과와 사용자 매력을 분리하기 어렵습니다. 추천된 시청 횟수를 단순히 계산하는 방식은 인과 관계를 확립하지 못하기 때문에 불충분합니다. 개인화를 완전히 비활성화하기 위한 실험을 실행하는 것은 사용자 경험에 부정적인 영향을 미치므로 실행 가능한 측정 전략이 아닙니다.대신, 연구자들은 행동 모델과 소규모 A/B 테스트를 결합한 하이브리드 접근 방식을 개발했습니다. 이 모델은 추천의 점진적인 영향을 사용자 선호도와 분리함으로써 추천이 시청 결정과 타이틀 선택 모두에 어떻게 영향을 미치는지 추정합니다. 이 모델은 과거 시청 기록이 현재 취향을 형성하는 방식을 포착하여 멤버 선호도를 동적으로 표현합니다. 이는 인식 및 정보 증가를 반영하는 타이틀 선택에 대한 추천의 "보너스" 효과를 명시적으로 모델링합니다.대체 패턴을 예측하는 모델의 정확성을 검증하기 위해 무작위 실험 결과와 비교되었습니다. 이러한 실험은 추천 알고리즘이 변경되는 방식을 모방하여 타이틀 가시성에 외생적인 변동을 도입했습니다. 이 모델은 높은 상관관계를 보이는 시뮬레이션된 전환 비율을 통해 강력한 예측력을 입증했습니다.검증된 모델을 사용하여 연구자들은 현재 넷플릭스 추천 시스템을 무작위, 인기 기반, 기본 행렬 분해 추천과 같은 기준선과 비교하기 위해 반사실적 분석을 수행했습니다. 현재 시스템은 집계 참여 측면에서 이러한 기준선보다 훨씬 뛰어났으며, 무작위 추천의 경우 16%, 인기 기반 추천의 경우 12% 감소했습니다. 행렬 분해와 비교했을 때도 현재 시스템은 참여에서 4%의 증가를 보였습니다.단순히 시청을 늘리는 것 외에도 이 모델은 소비 다양성을 평가했습니다. 현재 시스템은 인기 기반 및 행렬 분해 추천과 달리 시청률이 타이틀 전반에 걸쳐 더 넓은 분포를 유지했으며, 이는 시청률 집중 증가로 이어졌습니다. 무작위 추천은 더 많은 다양성을 제공했지만 참여 비용이 상당히 컸습니다. 따라서 개인화는 더 많은 시청을 유도할 뿐만 아니라 다양한 취향을 반영하여 사용자에게 더 다양한 타이틀을 매칭합니다.