新しいPub/Sub Single Message Transformsでストリーミングパイプラインを簡略化

Pub/Sub Single Message Transforms（SMTs）は、Pub/Sub内でのデータ変換を簡略化するために導入されました。これらの変換は、データ共有や正規化などの用途に応じてストリーミングデータを変更する必要に応じています。以前は、単純な変換にはソース/宛先の変更や外部コンポーネントの使用が必要で、オーバーヘッドがかかっていた。Pub/Sub SMTsは、Import TopicsとExport Subscriptionsのモデルに従って、ストリーミングアーキテクチャを簡略化することを目指しています。最初のSMTは、JavaScriptユーザー定義関数（UDFs）であり、JavaScriptコードによる軽量な変更を可能にします。これらのUDFsは、Pub/Sub内での一般的な変換、フィルタリングの強化、およびデータマスキングを可能にします。UDFsは、パイプラインを簡略化し、代替アプローチに比べてパフォーマンスを向上させる柔軟性を提供します。変換は、トピック、サブスクリプション、または両方のレベルで適用可能で、パブリッシャーとサブスクライバーの分離を維持します。ユーザーは、Google Cloud コンソールやgcloud CLIを通じてJavaScript UDFsを簡単に実装できます。将来的には、スキーマの検証やAI推論などのSMTsがリリースされる予定です。