Улучшите свой следующий экспер... Заметка

Улучшите свой следующий эксперимент, изучив лучшиеproxy-метрики из прошлых экспериментов

Исследователи Netflix представляют методы установления связи между краткосрочнымиproxy-метриками и долгосрочными метриками 'north star' с помощью исторических экспериментов. Наивные подходы к пониманию этой связи могут быть вводящими в заблуждение из-за спurious variables и коррелирующей ошибки измерения. Оценщик Total Covariance (TC) вычисляет OLS-коэффициент наклона, вычитая масштабированную ковариацию ошибки измерения из ковариации оцененных эффектов лечения. Оценка Jackknife Instrumental Variables Estimation (JIVE) удаляет коррелирующую ошибку измерения, исключая каждый наблюдение из вычисления его инструментированных суррогатных значений. Оценка Limited Information Maximum Likelihood (LIML) является статистически эффективной при условии отсутствия прямых эффектов между лечением и метриками 'north star'. Эти методы позволяют создавать линейные структурные модели эффектов лечения, которые легко интерпретируются и способствуют координации и выравниванию по 'north star'. Они позволяют управлять компромиссами между метриками, инновациям в метриках и самостоятельной работе команд. Несмотря на текущие архитектурные вызовы данных, эти методы уже успешно реализованы в Netflix и активно используются для разработки proxy-метрик. Исследователи признают необходимость в более гибкой архитектуре данных для упрощения их применения и приветствуют потенциальных вкладчиков через открытые вакансии.