Améliorez votre prochaine expé... Note

Améliorez votre prochaine expérience en apprenant de meilleurs indicateurs de substitution à partir des expériences passées

Les chercheurs de Netflix présentent des méthodes pour établir la relation entre les métriques proxy à court terme et les métriques étoile du nord à long terme en utilisant des expériences historiques. Les approches naïves pour comprendre cette relation peuvent être trompeuses en raison de confounders et d'erreurs de mesure corrélées. L'estimateur de covariance totale (TC) calcule la pente OLS en soustrayant la covariance d'erreur de mesure échelonnée de la covariance des effets de traitement estimés. L'estimation des variables instrumentales par jackknife (JIVE) élimine l'erreur de mesure corrélée en excluant les données de chaque observation de la computation de ses valeurs de remplacement instrumentées. Un estimateur de maximum de vraisemblance à information limitée (LIML) est statistiquement efficace sous l'hypothèse qu'il n'y a pas d'effets directs entre le traitement et la métrique étoile du nord. Ces méthodes produisent des modèles structuraux linéaires des effets de traitement qui sont faciles à interpréter et facilitent la coordination et l'alignement vers l'étoile du nord. Ils permettent la gestion des compromis entre les métriques, l'innovation des métriques et le travail d'équipe indépendant. Malgré les défis actuels de l'architecture des données, ces méthodes ont été mises en œuvre avec succès à Netflix et sont actuellement utilisées pour développer des métriques proxy. Les chercheurs reconnaissent le besoin d'une architecture de données plus flexible pour simplifier leur application et accueillent les contributeurs potentiels via des annonces d'emploi ouvertes.