RDB(관계형 데이터베이스)와 검색 엔진 연결 - 제3장

이 장에서는 Debezium을 사용하여 PostgreSQL에서 Kafka로 변경 데이터의 종단간 흐름을 검증하는 방법을 자세히 설명합니다. Docker Compose를 사용하여 환경을 설정하는 것으로 시작하며, PostgreSQL, Kafka, Debezium Connect 및 ZooKeeper가 실행되도록 합니다. 설정에는 PostgreSQL에 테이블을 생성하고, 데이터베이스 사용자를 구성하고, Debezium에 대한 게시물을 생성하는 것이 포함됩니다. PostgreSQL 컨테이너는 WAL 설정을 조정하여 CDC를 활성화하도록 구성됩니다. 다음으로, Debezium 커넥터를 등록하여 데이터베이스 세부 정보와 토픽 구성을 지정합니다. 커넥터의 상태를 확인하여 실행 중인지 확인하고, Kafka 토픽을 나열하여 커넥터의 작동을 확인합니다. 그런 다음, 컨슈머 도구를 사용하여 Kafka에서 CDC 이벤트를 확인합니다. PostgreSQL에 새 행을 삽입하고 해당 Kafka 출력을 관찰하여 라이브 데이터 변경을 확인합니다. 이 장에서는 Debezium JSON 이벤트 형식을 설명하며, "r", "c", "u" 및 "d" 작업 코드의 의미를 강조합니다. 마지막으로, 이 장에서는 누락된 토픽이나 이벤트와 같은 일반적인 문제에 대한 문제 해결 단계를 제공합니다. 다음 장에서는 Flink를 사용하여 이 데이터를 처리하는 방법을 다룹니다.