文章：从批处理到微批流处理：在 Delta 索引管道中艰难习得的经验教训

本文介绍了一条生产级 Delta 索引流水线如何从定时批处理迁移至微批 Spark Structured Streaming。文章涵盖了为何拒绝基于记录的流处理、基于分区的 watermark 如何替代脆弱的 S3 完成标记、重叠窗口的正确性，以及针对对象存储式摄入系统提升可预测性的“以重启为设计”策略。作者：Parveen Saini