Dataflow 스트리밍 파이프라인의 자동 확장 최적 조정

스트리밍 처리를 통해 사기 감지와 IoT와 같은 애플리케이션에서 활용되는 실시간 데이터 통찰력을 제공합니다. Dataflow는 스트리밍 작업에 필요한 컴퓨트 용량을 자동으로 조정할 수 있는 자동 확장 기능을 제공합니다. 이러한 기능에는 가로 및 세로 자동 확장이 포함되며, Streaming Engine을 통해 데이터 볼륨 변동에 대한 확장을 더욱 매끄럽게 지원합니다. 고객은 런타임 중 최소 및 최대 작업자 수 조정과 같은 자동 확장 매개변수를 사용자 지정해야 할 수도 있습니다. 이를 해결하기 위해 Dataflow는 사용자가 보정한 자동 확장을 위한 인플라이트 작업 업데이트를 도입했습니다. 이 기능을 사용하면 처리 지연을 일으키지 않고 런타임 중 작업자 한계를 업데이트하여 대기 시간 보장이 유지됩니다. Google Cloud 콘솔이나 Dataflow Update API를 통해 이용할 수 있습니다. Yahoo는 SLA를 위반하지 않고 스트리밍 파이프라인을 업데이트하여 대기 시간 급증을 줄이고 비용을 최적화하기 위해 이 기능을 성공적으로 구현했습니다. Dataflow는 Streaming Engine 및 인플라이트 작업 업데이트를 비롯한 다양한 자동 확장 기능을 제공하여 사용자는 특정 요구 사항에 맞게 자동 확장을 미세 조정할 수 있습니다. 자동 확장은 짧은 대기 시간 보장과 비용 최적화에 필수적입니다. Dataflow는 이 프로세스를 간소화하기 위한 종합적인 자동 확장 기능을 제공합니다. 자세한 내용과 향후 향상에 대한 업데이트는 Google Cloud 영업팀에 문의하세요.