В этой статье описывается, как конвейер производственного дельта-индекса мигрировал от плановой пакетной обработки к микропакетной обработке с использованием Spark Structured Streaming. В ней рассматриваются причины отказа от потоковой обработки на уровне записей, как основанные на разделах водяные знаки заменили хрупкие маркеры завершения S3, корректность перекрывающихся окон и стратегии перезапуска как элемента дизайна для лучшей предсказуемости в системах приема данных на основе объектных хранилищ. Автор: Парвин Сайни