Flujos de datos simples y efic... Nota

Flujos de datos simples y eficientes con Spring/Kafka

Tuve la oportunidad de trabajar con streams y batches de Spring Cloud Data Flow. Los streams funcionan en producción y tienen un buen rendimiento. Los streams principales utilizaron Debezium para enviar los deltas de la base de datos a endpoints SOAP o proporcionaron endpoints SOAP para escribir en la base de datos. Los eventos se enviaron a través de Kafka. Spring Cloud Data Flow también proporciona una aplicación para gestionar los streams y los jobs. Los streams se construyen con una fuente de datos y un sumidero de datos que son aplicaciones separadas y están desacopladas por los eventos enviados a través de Kafka. El Stream 1 tiene una fuente Debezium y envía los deltas de la base de datos a través de Kafka al sumidero, que transforma el evento en una solicitud SOAP para la aplicación. El Stream 2 recibe una solicitud SOAP de la aplicación y envía un evento a Kafka. El sumidero recibe el evento y crea las entradas de la base de datos para el evento.