Простые и эффективные потоки д... Заметка
RSS DZone.com

Простые и эффективные потоки данных Spring/Kafka

У меня была возможность поработать со Spring Cloud Data Flow для потоков и пакетных заданий. Потоки работают в продакшене и показывают хорошую производительность. Основные потоки использовали Debezium для отправки дельт базы данных на SOAP-конечные точки или предоставляли SOAP-конечные точки для записи в базу данных. События отправлялись через Kafka. Spring Cloud Data Flow также предоставляет приложение для управления потоками и задачами. Потоки построены с использованием источника данных и приемника данных, которые являются отдельными приложениями и разделены событиями, отправляемыми через Kafka. Поток 1 имеет источник Debezium и отправляет дельты базы данных через Kafka в приемник, который преобразует событие в SOAP-запрос к приложению. Поток 2 получает SOAP-запрос от приложения и отправляет событие в Kafka. Приемник получает событие и создает записи в базе данных для этого события.