Dataflow ストリーミング パイプラインの自動スケーリングを微調整する

ストリーミング処理は、不正検出や IoT などのアプリケーションで活用されるリアルタイムのデータ洞察を提供します。Dataflow は、ストリーミングジョブのコンピューティング容量を自動的に調整するための自動スケーリング機能を提供します。これらの機能には水平および垂直自動スケーリングがあり、Streaming Engine はデータボリュームの変更に応じてよりスムーズなスケーリングを提供します。 顧客は、ランタイム中のワーカーの最小数と最大数を調整するなど、自動スケーリングパラメータをカスタマイズする必要がある場合があります。これを解決するために、Dataflow はユーザー校正自動スケーリング用の実行中のジョブ更新を導入しました。 この機能により、ユーザーは処理の遅延を引き起こすことなく、実行時にワーカーの制限を更新し、遅延の保証を確保できます。Google Cloud コンソールまたは Dataflow 更新 API を介して利用できます。 Yahoo は、SLA に違反することなくストリーミングパイプラインを更新し、遅延スパイクを削減してコストを最適化するために、この機能を正常に実装しました。 Dataflow は、Streaming Engine や実行中のジョブ更新など、さまざまな自動スケーリング機能を提供し、ユーザーは特定の要件に合わせて自動スケーリングを微調整できます。 自動スケーリングは、低遅延の保証とコストの最適化に不可欠です。Dataflow は、このプロセスを簡略化するための包括的な自動スケーリング機能を提供します。 詳細と今後の機能強化のアップデートについては、Google Cloud 営業チームにお問い合わせください。