마에스트로: 넷플릭스의 워크플로우 오케스트레이터 노트

마에스트로: 넷플릭스의 워크플로우 오케스트레이터

Maestro, Netflix의 오픈 소스 워크플로우 오케스트레이터는 대규모 데이터 파이프라인 및 머신 러닝 워크플로우를 위해 설계되었습니다. 이는 acyclic 및 cyclic 워크플로우를 지원하며, foreach 루프, 하위 워크플로우 및 조건부 분기와 같은 재사용 가능한 패턴을 포함합니다. Maestro는 단일 워크플로우 내에서 대규모 워크플로우 및 잡을 관리하는 데 필요한 수평 확장성을 제공합니다. 사용자 제공 필드와 Maestro가 관리하는 필드를 결합하는 유연한 워크플로우 정의 형식인 JSON을 제공합니다. Maestro의 워크플로우 실행 전략에는 순차적, 엄격한 순차적, 첫 번째만, 마지막만, 병렬 실행(동시 실행 제한 옵션 포함) 등이 있습니다. Maestro의 매개변수 및 표현 언어 지원은 동적 매개변수, 코드 주입 및 워크플로우 및 단계 간 상태 공유를 허용합니다. 또한 호출 가능 단계 실행을 위한 출력 매개변수 및 유연성 및 관리 용이성을 위한 매개변수화된 워크플로우를 제공합니다. Maestro는 데이터플로우 및 기타 워크플로우 패턴을 쉽게 정의할 수 있도록 일반적인 빌딩 블록, 즉 foreach 지원, 하위 워크플로우 및 조건부 분기를 포함합니다.