새로운 Pub/Sub Single 메시지 변환으로 스트리밍 파이프라인을 간소화하세요

Pub/Sub Single Message Transforms(SMT)는 Pub/Sub 내에서 데이터 변환을 단순화하는 데 사용됩니다. 이러한 변환은 데이터 공유 및 정규화와 같은 다양한 사용 사례에 대한 스트리밍 데이터를 수정하는 필요성을 해결합니다. 간단한 변환을 위해 소스/목적지 또는 외부 구성 요소를 변경해야 하는 오버헤드가 발생했습니다. Pub/Sub SMT는 Import 주제 및 Export 구독에 따라 스트리밍 아키텍처를 간소화하는 것을 목표로 합니다. 첫 번째로 사용 가능한 SMT는 JavaScript 사용자 정의 함수(UDF)로, JavaScript 코드를 통해 경량 수정을 가능하게 합니다. 이러한 UDF는 Pub/Sub 내에서 일반적인 변환, 향상된 필터링 및 데이터 마스킹을 허용합니다. UDF는 유연성을 제공하여 파이프라인을 간소화하고 대체 접근 방식에 비해 성능을 개선합니다. 변환은 주제, 구독 또는 둘 다에 적용할 수 있습니다. 사용자는 Google Cloud 콘솔 또는 gcloud CLI를 통해 JavaScript UDF를 쉽게 구현할 수 있습니다. 향후 SMT, 스키마 유효성 및 AI 추론이 예정되어 있습니다.