分析管道在成本和数据来源年龄方面往往呈同步扩展趋势：随着数据量增长，成本随之上升；而由于批处理作业时间延长，数据新鲜度则逐渐降低。常见的解决方案是横向扩展集群，但这仅缓解了表面症状，并未触及架构层面的根本问题。 在本教程中，我们将探讨一种能够从根本上解决上述双重问题的替代方案：采用 Netflix Maestro（由 Netflix 于 2024 年 7 月开源的水平可扩展工作流编排器）以及 Apache Iceberg（一种用于对象存储上分析的标准表格式）。前者通过将基于时间的调度转变为事件驱动模式来发挥作用，后者则消除了在大数据集上查询时因列出文件而产生的开销，从而降低查询延迟并减少相关成本。