DataJunctionは、Netflixのモダンデータスタックにおける欠けていたピースへの回答
Netflixは、特に実験プラットフォームにおいて、散在し、定義が一貫せず、信頼性の低いメトリクスに課題を抱えていました。この複雑さは、データサイエンティストやアナリティクスエンジニアの作業を妨げ、以前のシステムではメトリクスのオンボーディングに数週間かかっていました。この問題に対処するため、Netflixはセマンティックレイヤーソリューションを検討し、堅牢なSQL解析および生成エンジンとグラフベースのメタデータストレージを備えたDataJunctionを選択しました。DataJunctionは、メトリクスのポータビリティの問題に対処するためにFacebookで考案され、後にNetflixのエンジニアによってオープンソース化され、拡張されました。重要なアーキテクチャ上の決定は、APIファーストのアプローチを優先し、堅固なセマンティックレイヤーエンジンとSQL入出力機能を備えたAPIに焦点を当てることでした。プラットフォームは、使い慣れたユーザーインターフェースと効率的なデータ配信のために、マルチディメンショナルキューブをファーストクラスの機能として採用しました。DataJunctionは、メトリクス定義をソースにリンクする能力により、トラブルシューティングとアドホック分析を簡素化します。プラットフォームがNetflixの実験ドメインに統合されたことで、メトリクスとディメンションの定義と管理が合理化されました。今後の計画には、他のツールとのより強力な統合を構築することにより、Netflixにおける一般的な分析を統合することが含まれます。これにより、Netflixのデータスタック全体でのメトリクスの発見、使用、および実験が容易になります。