Pinterestはイベントタイムウォーターマークを使用して... ノート
InfoQ 日本語

Pinterestはイベントタイムウォーターマークを使用してペタバイト規模のデータパーティションを最終決定する

Pinterestは、データベース取り込みフレームワークにイベント時間ベースのパーティション最終化を導入しました。このメカニズムは、Apache Flinkを使用してイベント時間を追跡し、Apache Icebergメタデータを使用して非後退ウォーターマークを公開することで、継続的に取り込まれるCDCデータが処理に十分に完了した時期を下流ジョブが判断するのに役立ちます。Leela Kumiliより
CdXz5zHNQW_EbH2vsqePR.jpeg