Maestro: Netflixのワークフロー・オーケストレーター
Maestroは、Netflixが開発したオープンソースのワークフロー・オーケストレーターです。大規模なデータ・パイプラインと機械学習ワークフロー向けに設計されています。Maestroは、acyclicとcyclicの両ワークフローをサポートし、foreachループ、サブワークフロー、条件分岐のような再利用可能なパターンも含みます。Maestroは、水平方向のスケーラビリティを提供し、単一のワークフロー内で大きな数のワークフローとジョブを管理できます。Maestroは、JSON形式の柔軟なワークフロー定義フォーマットを提供し、ユーザーが提供するフィールドとMaestroが管理するフィールドを組み合わせています。Maestroのワークフロー実行戦略には、sequential、strict sequential、first-only、last-only、並列実行(同時実行制限あり)があります。Maestroのパラメータと式言語サポートでは、動的なパラメータ、コード・インジェクション、ワークフローとステップ間での状態共有が可能です。また、callable stepの実行結果パラメータとパラメータ化されたワークフローも提供し、柔軟性と管理のしやすさを向上させています。Maestroは、foreachサポート、サブワークフロー、条件分岐のような一般的なビルディング・ブロックも含み、データフローと他のワークフロー・パターンの定義を簡単にしています。