이 글은 프로덕션 델타 인덱스 파이프라인이 스케줄링된 배치에서 마이크로 배치 Spark Structured Streaming으로 어떻게 마이그레이션되었는지 설명합니다. 레코드 수준 스트리밍이 거부된 이유, 파티션 기반 워터마크가 불안정한 S3 완료 마커를 대체한 방법, 오버랩 윈도우의 정확성, 그리고 객체 스토어 기반 수집 시스템에서 예측 가능성을 높이기 위한 재시작 설계 전략을 다룹니다. Parveen Saini 작성.