Pinterest는 페타바이트 규모 데이터 파티션을 최... 노트
InfoQ 한국어

Pinterest는 페타바이트 규모 데이터 파티션을 최종 확정하기 위해 이벤트 시간 워터마크를 사용합니다.

Pinterest는 데이터베이스 수집 프레임워크에 이벤트 시간 기반 파티션 최종화 기능을 도입했습니다. 이 메커니즘은 Apache Flink를 사용하여 이벤트 시간을 추적하고 Apache Iceberg 메타데이터를 사용하여 비회귀 워터마크를 게시함으로써, 다운스트림 작업이 지속적으로 수집되는 CDC 데이터가 처리하기에 충분히 완료되었는지 여부를 결정하는 데 도움을 줍니다. Leela Kumili 작성
CdXz5zHNQW_EbH2vsqePR.jpeg