지난 20년간 대부분의 엔터프라이즈 데이터 엔지니어링 시스템은 하나의 기본 가정하에 구축되었습니다. 즉, 사람들이 시스템을 이해한다는 것입니다. 시스템은 파이프라인을 실행합니다.엔지니어는 비즈니스 컨텍스트를 이해하고, 요구사항을 단계별로 나누고, SQL, Spark 작업, 쉘 스크립트, 동기화 작업, 스케줄링 워크플로우를 작성한 다음, 시스템이 이를 실행하도록 합니다. 스케줄러는 비즈니스를 이해할 필요가 없습니다. 동기화 엔진은 메트릭을 이해할 필요가 없습니다. 단지 미리 정의된 흐름을 안정적으로 실행하기만 하면 됩니다.