この記事では、本番デルタインデックスパイプラインがスケジュールされたバッチ処理からマイクロバッチSpark Structured Streamingに移行した方法について説明します。レコードレベルのストリーミングが却下された理由、パーティションベースのウォーターマークが壊れやすいS3完了マーカーに取って代わった方法、オーバーラップウィンドウの正確性、およびオブジェクトストアベースの取り込みシステムで予測可能性を向上させるための再起動設計戦略について説明します。Parveen Sainiによる