관계형 데이터베이스(RDB)와 검색 엔진 연결 - 제5장

이 장에서는 Flink SQL을 사용하여 PostgreSQL의 데이터를 조인하는 CDC(Change Data Capture) 파이프라인을 구축하는 방법을 자세히 설명합니다. 아키텍처는 PostgreSQL, Debezium, Kafka, Flink SQL, 그리고 OpenSearch를 포함합니다. 먼저, 초기 데이터와 필요한 권한을 포함하여 제품 및 주문에 대한 PostgreSQL 테이블을 설정하는 것으로 시작합니다. Debezium 커넥터는 변경 사항을 스트리밍하기 위해 Kafka Connect에 등록됩니다. 조인된 데이터를 저장하기 위한 특정 매핑과 함께 OpenSearch 색인이 생성됩니다. 그런 다음, Flink SQL을 사용하여 Debezium-JSON 형식을 사용하여 주문 및 제품에 대한 Kafka 테이블을 정의합니다. OpenSearch 싱크는 조인된 데이터를 수신하도록 구성되고, 주문 및 제품 정보를 조인하기 위한 뷰가 생성됩니다. 삽입 문은 조인된 결과로 OpenSearch 색인을 채웁니다. 마지막으로, Flink 작업이 실행되고, curl 명령 및 사용자 정의 스크립트를 사용하여 Kafka 토픽 및 OpenSearch에서 데이터를 검증하는 것을 포함한 데이터 검증 단계가 설명됩니다. 이 장은 중복 제거 및 파티셔닝과 같은 향후 주제를 언급하며 마무리됩니다.