Netflix Conductor: 다음 챕터
Netflix Conductor는 초기 오픈소스 릴리스를 넘어 상당한 발전을 이루었습니다. 오픈소스 버전의 유지보수는 중단되었지만, 내부 개발이 가속화되어 완전한 재구축으로 이어졌습니다. Conductor의 규모는 폭발적으로 증가하여 연간 수십억 건의 워크플로우 실행을 처리하고 있으며, 이는 초기 마일스톤 달성과는 극명한 대조를 이룹니다. 이러한 성장은 데이터 플레인부터 평가 엔진에 이르기까지 거의 모든 시스템 계층의 현대화를 필요로 했습니다. Conductor는 이제 방대한 수의 워크플로우 정의를 지원하며, 콘텐츠 및 스튜디오 엔지니어링, 광고, 게임을 포함한 다양한 Netflix 비즈니스에 필수적입니다. 예를 들어, 미디어 프로덕션 스위트는 중요한 미디어 수집 및 처리 파이프라인을 위해 Conductor에 의존합니다. 아키텍처 측면에서 Conductor는 Dynomite 기반 스택에서 Cassandra를 기본 데이터 저장소로, Timestone을 큐잉에 사용하여 확장성과 안정성을 크게 향상시켰습니다. Conductor 3.0의 도입은 근본적인 문제를 해결했으며, Conductor 4.0은 핵심 평가 엔진을 재구축했습니다. 이 재작성은 메모리 효율성과 성능 향상을 위해 데이터를 분할하고, 동기식 병목 현상을 제거하기 위해 비동기 평가 모델을 도입했습니다. 전반적인 결과는 Netflix의 막대한 운영 요구 사항을 처리할 수 있는 보다 강력하고 확장 가능하며 성능이 뛰어난 워크플로우 오케스트레이션 엔진입니다.