Verbinden von RDBs und Suchmaschinen — Kapitel 5

Dieses Kapitel beschreibt detailliert den Aufbau einer CDC-Pipeline mit Flink SQL, um Daten aus PostgreSQL zu verknüpfen. Die Architektur umfasst PostgreSQL, Debezium, Kafka, Flink SQL und OpenSearch. Es beginnt mit der Einrichtung von PostgreSQL-Tabellen für Produkte und Bestellungen, einschließlich Initialdaten und erforderlichen Berechtigungen. Ein Debezium-Konnektor wird in Kafka Connect registriert, um Änderungen zu streamen. Ein OpenSearch-Index wird mit einem spezifischen Mapping für die Speicherung der verknüpften Daten erstellt. Anschließend wird Flink SQL verwendet, um Kafka-Tabellen für Bestellungen und Produkte zu definieren, wobei das Debezium-JSON-Format verwendet wird. Ein OpenSearch-Sink wird konfiguriert, um die verknüpften Daten zu empfangen, und eine View wird erstellt, um Bestell- und Produktinformationen zu verknüpfen. Eine Insert-Anweisung füllt den OpenSearch-Index mit den verknüpften Ergebnissen. Schließlich wird der Flink-Job ausgeführt und Datenvalidierungsschritte werden beschrieben, einschließlich der Überprüfung der Daten in Kafka-Topics und OpenSearch mithilfe von curl-Befehlen und einem benutzerdefinierten Skript. Das Kapitel schließt mit der Erwähnung kommender Themen wie Deduplizierung und Partitionierung.