Vereinfachen Sie Ihre Streaming-Pipelines mit neuen Pub/Sub-Einzelmitteilungstransformationen

Einzelne Nachrichtentransformationen (SMTs) in Pub/Sub werden eingeführt, um die DatenTransformation direkt innerhalb von Pub/Sub zu vereinfachen. Diese Transformationen decken den Bedarf ab, streaming-Daten für verschiedene Anwendungsfälle wie Datenfreigabe und Normalisierung zu ändern. Zuvor erforderten einfache Transformationen die Änderung von Quellen/Zielen oder die Verwendung externer Komponenten, was zu zusätzlicher Overhead führte. Pub/Sub SMTs zielen darauf ab, Streaming-Architekturen zu straffen, ähnlich wie bei Themen und Export-Abonnements. Die erste verfügbare SMT sind JavaScript-basierte Benutzerdefinierte Funktionen (UDFs), die leichte Änderungen mittels JavaScript-Code ermöglichen. Diese UDFs ermöglichen gemeinsame Transformationen, erweiterte Filterung und Datenmaskierung innerhalb von Pub/Sub. UDFs bieten Flexibilität, vereinfachen Pipelines und verbessern die Leistung im Vergleich zu alternativen Ansätzen. Transformationen können auf Topic-, Abonnement- oder beiden Ebenen angewendet werden, um die Entkopplung zwischen Verlegern und Abonnenten aufrechtzuerhalten. Benutzer können JavaScript-UDFs leicht implementieren über die Google Cloud-Konsole oder die gcloud CLI. Zukünftige SMTs, einschließlich Schemavalidierung und künstlicher Intelligenz-Schlussfolgerung, sind für die Veröffentlichung vorgesehen.