Последние два десятилетия большинство систем инженерии корпоративных данных строились на одном стандартном предположении: люди понимают систему. Система выполняет конвейер.Инженеры понимают бизнес-контекст, разбивают требование на этапы, пишут SQL, задания Spark, скрипты оболочки, задачи синхронизации и рабочие процессы планирования, а затем позволяют системе их выполнять. Планировщику не нужно понимать бизнес. Синхронизирующему механизму не нужно понимать метрику. Ему нужно только надежно выполнять предопределенный поток.