Netflix Conductor: 次の章 ノート

Netflix Conductor: 次の章

Netflix Conductorは、当初のオープンソースリリースから大きく進化しました。オープンソース版のメンテナンスは終了しましたが、内部開発は加速し、完全な再構築に至りました。Conductorの規模は爆発的に拡大し、年間数十億件のワークフロー実行を処理しており、これは初期のマイルストーン達成とは対照的です。この成長により、データプレーンから評価エンジンに至るまで、ほぼすべてのシステムレイヤーでモダナイゼーションが必要となりました。Conductorは現在、膨大な数のワークフロー定義をサポートしており、コンテンツおよびスタジオエンジニアリング、広告、ゲームなど、さまざまなNetflixビジネスに不可欠なものとなっています。例えば、メディアプロダクションスイートは、重要なメディア取り込みおよび処理パイプラインのためにConductorに依存しています。アーキテクチャ的には、ConductorはDynomiteベースのスタックからCassandraをプライマリデータストア、Timestoneをキューイングに使用するように移行し、スケーラビリティと信頼性を大幅に向上させました。Conductor 3.0の導入は基盤的な問題に対処し、Conductor 4.0ではコア評価エンジンの再構築が行われました。この書き直しにより、メモリ効率とパフォーマンス向上のためにデータがパーティション化され、同期的なボトルネックを排除するために非同期評価モデルが導入されました。全体として、Netflixの膨大な運用要求に対応できる、より堅牢でスケーラブル、かつ高性能なワークフローオーケストレーションエンジンが実現しました。
CdXz5zHNQW_fpGlfFLsWS.png