Netflixで因果推論は、意思決定とメンバーの体験向上の両方において非常に重要です。年次の因果推論と実験サミットは、メソドロジーの開発と革新的な適用を共有する専門家たちが集まる会議です。一つの話は、A/Bテストからの年次化された影響をより速く自動的に推定するアプローチの開発に焦点を当てました。このアプローチは、観察されていない請求期間と、新規登録コーホートの両方に関する課題に対処します。別の話は、ゲームイベントの評価に関する包括的なフレームワークを提示しました。このフレームワークは、A/Bテストが実際的でない状況での介入シナリオや、データが限られている状況での合成コントロールモデルを扱います。ダブルマシンラーニングは、A/Bテストでの異なるメトリックの重要性を比較するために適用されました。このアプローチは、治療効果が異なる場合の潜在的なバイアスを解決します。アンケートA/Bテストにおける異なる非応答バイアスは、条件付き平均治療効果、傾向スコア、反復的な比例フィッティングを使用して分析されました。これにより、メンバーの意見を正確に表現することができます。デザインは、Netflixでの因果推論の不可欠な部分として強調されました。特に、実験を通じて意思決定を促進するために、ユーザーインターフェースとデータプレゼンテーションの最適化に焦点が当てられました。