Netflix использует алгоритмы персонализации, чтобы рекомендовать контент своим подписчикам, стремясь улучшать долгосрочное удовлетворение. Рекомендации рассматриваются как задача контекстуального бандита, где система выбирает действия на основе контекста и обратной связи от подписчиков. Традиционные системы рекомендаций оптимизируются для короткосрочных метрик, таких как клики, которые могут не полностью отражать долгосрочное удовлетворение. Оптимизация только для удержания имеет недостатки, поэтому Netflix использует прокси-функции вознаграждения, выровненные с долгосрочным удовлетворением подписчиков. Коэффициент клика (CTR) является простым прокси-вознаграждением, но Netflix расширяет его, чтобы учитывать разные действия пользователей и их влияние на удовлетворение. Инженерия вознаграждения - это итеративный процесс уточнения прокси-функции вознаграждения для соответствия долгосрочному удовлетворению подписчиков, включая формирование гипотез, определение вознаграждения, обучение политики бандита и тестирование A/B. Netflix решает проблему задержки обратной связи, прогнозируя отсутствующую обратную связь, что позволяет использовать всю обратную связь в прокси-функции вознаграждения. Несмотря на улучшения оффлайн-модели, разрыв между онлайн- и оффлайн-метриками может возникать, когда прокси-вознаграждение не полностью соответствует долгосрочному удовлетворению подписчиков. Netflix решает это, уточняя определение прокси-вознаграждения. Остаются открытые вопросы, такие как автоматизация процесса обучения прокси-функции вознаграждения, определение оптимального времени ожидания для задержанной обратной связи и использование обучения с подкреплением для соответствия долгосрочному удовлетворению.