Упрощайте свои потоковые конвейеры с помощью новых преобразований одиночных сообщений Pub/Sub

Одиночные преобразования сообщений (SMT) в Pub/Sub вводятся для упрощения преобразования данных непосредственно в Pub/Sub. Эти преобразования отвечают потребности в изменении потоковых данных для различных случаев использования, таких как обмен данными и нормализация. Ранее простые преобразования требовали изменения источников/назначений или использования внешних компонентов, что приводило к дополнительной нагрузке. SMT в Pub/Sub стремятся упростить архитектуры потоковой передачи, модели импорта тем и экспорта подписок. Первым доступным SMT является функция определения пользователя на языке JavaScript (UDF), позволяющая производить легковесные изменения с помощью кода на языке JavaScript. UDF позволяют производить общие преобразования, расширенную фильтрацию и маскирование данных в Pub/Sub. UDF предлагают гибкость, упрощая конвейеры и улучшая производительность по сравнению с альтернативными подходами. Преобразования могут быть применены на уровне темы, подписки или обоих, чтобы сохранить декуплинг между издателями и подписчиками. Пользователи могут легко реализовать JavaScript UDF через консоль Google Cloud или интерфейс командной строки gcloud. Будущие SMT, включая валидацию схем и вывод искусственного интеллекта, планируются к выпуску.