Des flux de données Spring/Kaf... Note

Des flux de données Spring/Kafka simples et efficaces

J'ai eu l'opportunité de travailler avec les flux et les traitements par lots de Spring Cloud Data Flow. Les flux fonctionnent en production et sont performants. Les flux principaux utilisaient Debezium pour envoyer les deltas de la base de données vers des points de terminaison Soap ou fournissaient des points de terminaison Soap pour écrire dans la base de données. Les événements étaient envoyés via Kafka. Spring Cloud Data Flow fournit également une application pour gérer les flux et les tâches. Les flux sont construits avec une source de données et un collecteur de données qui sont des applications séparées et découplées par les événements envoyés via Kafka. Le flux 1 a une source Debezium et envoie les deltas de la base de données via Kafka au collecteur qui transforme l'événement en une requête Soap vers l'application. Le flux 2 reçoit une requête Soap de l'application et envoie un événement à Kafka. Le collecteur reçoit l'événement et crée les entrées de la base de données pour l'événement.