過去の実験から学び取ったより良い代理メトリックスで次の実験を改善する
Netflixの研究者が、歴史的な実験を使用して、短期的な代理メトリックと長期的な北極星メトリックの関係を確立する方法を提示します。単純なアプローチでこの関係を理解することは、混同因子と相関する測定誤差のために誤解を招く可能性があります。Total Covariance (TC) 估算器は、OLS傾斜を計算するために、測定誤差の共分散を除去します。Jackknife Instrumental Variables Estimation (JIVE) は、各観察のデータを、観察の代理サロゲート値の計算から除去することで、相関する測定誤差を除去します。Limited Information Maximum Likelihood (LIML) 估算器は、処置と北極星メトリックの間に直接的な影響が無いと仮定する状況下で、統計的に効率的です。これらの方法は、北極星に向かっての調整と協調を容易にする、線形的な構造モデルを生成します。これらは、メトリックのトレードオフの管理、メトリックのイノベーション、独立したチーム作業を可能にします。現在のデータアーキテクチャーの課題にもかかわらず、これらの方法はNetflixで成功裏に実装されており、代理メトリックの開発に積極的に使用されています。研究者は、より柔軟なデータアーキテクチャーがこれらの方法の適用を簡単にする必要があると認め、潜在的な貢献者を、オープンジョブポストイングスを通じて歓迎します。