Connexion de bases de données relationnelles et des moteurs de recherche — Chapitre 5

Ce chapitre décrit la construction d'un pipeline CDC (Change Data Capture) utilisant Flink SQL pour joindre des données à partir de PostgreSQL. L'architecture implique PostgreSQL, Debezium, Kafka, Flink SQL et OpenSearch. Elle commence par la mise en place de tables PostgreSQL pour les produits et les commandes, y compris les données initiales et les autorisations nécessaires. Un connecteur Debezium est enregistré dans Kafka Connect pour diffuser les modifications. Un index OpenSearch est créé avec une mise en forme spécifique pour stocker les données jointes. Flink SQL est ensuite employé pour définir des tables Kafka pour les commandes et les produits, en utilisant le format Debezium-JSON. Un sink OpenSearch est configuré pour recevoir les données jointes, et une vue est créée pour joindre les informations de commande et de produit. Une instruction d'insertion peuple l'index OpenSearch avec les résultats joints. Enfin, le travail Flink est exécuté et les étapes de validation des données sont décrites, notamment la vérification des données dans les rubriques Kafka et OpenSearch en utilisant des commandes curl et un script personnalisé. Le chapitre se conclut en mentionnant les sujets à venir, tels que la déduplication et le partitionnement.