AWS Glue 可让您快速启动 PySpark 管道。然而，随着逻辑的增长，构建一个能够保持可维护性、在大规模下可靠运行，且不会随时间悄然积累运维债务的管道则困难得多。大多数 Glue 管道起初简单，但随着时间推移逐渐变得难以管理——公式被硬编码，模块无边界地增长，输出文件大量涌现，不久之后，单个作业便承担了过多任务，而这些任务难以测试、难以调试，且修改成本高昂。