Simplifiez vos pipelines de diffusion en continu avec les nouvelles transformations de messages uniques Pub/Sub

Les transformations de messages uniques (SMT) de Pub/Sub sont introduites pour simplifier la transformation de données directement au sein de Pub/Sub. Ces transformations répondent au besoin de modifier les données en flux pour divers cas d'utilisation, comme le partage de données et la normalisation. Auparavant, les transformations requéraient la modification des sources/destinations ou l'utilisation de composants externes, ce qui entraînait une surcharge supplémentaire. Les SMT de Pub/Sub visent à rationaliser les architectures de flux, suivant le modèle des rubriques d'importation et des abonnements d'exportation. La première SMT disponible est les fonctions définies par l'utilisateur (UDF) en JavaScript, permettant des modifications légères via du code JavaScript. Ces UDF permettent des transformations courantes, un filtrage amélioré et une mise en masque des données au sein de Pub/Sub. Les UDF offrent une flexibilité, simplifiant les pipelines et améliorant les performances par rapport aux approches alternatives. Les transformations peuvent être appliquées au niveau du sujet, de l'abonnement ou des deux pour maintenir la découplage entre les éditeurs et les abonnés. Les utilisateurs peuvent facilement mettre en œuvre des UDF JavaScript via la console Google Cloud ou la CLI gcloud. Des SMT futures, notamment la validation de schéma et l'inférence IA, sont prévues pour être publiées.