InfoQ 한국어
팔로우
Pinterest는 페타바이트 규모 데이터 파티션을 최종 확정하기 위해 이벤트 시간 워터마크를 사용합니다.
Pinterest는 데이터베이스 수집 프레임워크에 이벤트 시간 기반 파티션 최종화 기능을 도입했습니다. 이 메커니즘은 Apache Flink를 사용하여 이벤트 시간을 추적하고 Apache Iceberg 메타데이터를 사용하여 비회귀 워터마크를 게시함으로써, 다운스트림 작업이 지속적으로 수집되는 CDC 데이터가 처리하기에 충분히 완료되었는지 여부를 결정하는 데 도움을 줍니다. Leela Kumili 작성