RSS DZone.com
Подписаться
Простые и эффективные потоки данных Spring/Kafka
У меня была возможность поработать со Spring Cloud Data Flow для потоков и пакетных заданий. Потоки работают в продакшене и показывают хорошую производительность. Основные потоки использовали Debezium для отправки дельт базы данных на SOAP-конечные точки или предоставляли SOAP-конечные точки для записи в базу данных. События отправлялись через Kafka. Spring Cloud Data Flow также предоставляет приложение для управления потоками и задачами.
Потоки построены с использованием источника данных и приемника данных, которые являются отдельными приложениями и разделены событиями, отправляемыми через Kafka. Поток 1 имеет источник Debezium и отправляет дельты базы данных через Kafka в приемник, который преобразует событие в SOAP-запрос к приложению. Поток 2 получает SOAP-запрос от приложения и отправляет событие в Kafka. Приемник получает событие и создает записи в базе данных для этого события.