Yahooは、グローバルなメディアおよびテクノロジー企業であり、高速分析ワークロードにおける固定仮想マシン（VM）構成によるデータパイプラインの脆性に課題を抱えていました。地域的な容量の制約が発生した場合、Managed Service for Apache Sparkでのクラスタープロビジョニングが停滞し、重要なデータパイプラインが遅延する可能性がありました。この問題に対処するため、YahooはManaged Service for Apache Sparkクラスターに柔軟なVMを導入しました。これにより、許容可能なVMシェイプのランク付けされたリストを定義することで、システムはリソースの変動を自動的に吸収できるようになります。Auto-Zone配置を有効にすると、システムはリージョン全体で容量を検索し、手動介入なしでパイプライン実行を維持できます。この最適化は、オンプレミスのビッグデータ基盤をGoogle Cloudに移行するというYahooの広範なデータモダナイゼーションジャーニーの一環です。柔軟な構成は、優先されるVMタイプが利用できない場合にランク付けされたリストから選択することで、クラスター作成の成功率を高めます。また、リージョン全体で容量を検索することで、地域的なリソース利用率を向上させます。柔軟なクラスターの構成には、オートゾーン配置を有効にし、VMシェイプ間でコアとメモリの対称性を維持する必要があります。また、YARNやSparkのリソース割り当てなどのコンポーネントプロパティを整合させることも重要です。Yahooは、この柔軟なVMアプローチを実装することで、地域的な在庫切れによるクラスタープロビジョニングの失敗を85％削減することに成功しました。これにより、ワークロードの継続的な実行が保証され、大規模なデータパイプライン全体での下流処理の遅延を防ぐことができます。