Google Cloud のマネージド Apache Spark は、インフラストラクチャ管理を抽象化することで、データエンジニアリングを簡素化します。ユーザーは、予測可能で高利用率のワークロード向けにマネージドクラスターを選択するか、断続的なタスク向けにサーバーレスを選択することで、アイドルコストを回避できます。サーバーレスは、探索のためのインタラクティブセッションと、自動化のためのバッチジョブを提供します。Google Cloud 上の Spark を最適化するには、ドライバーとエグゼキューターのリソース割り当てを慎重に宣言することが含まれます。最大エグゼキューターを明示的に設定することで予算超過を防ぎ、データサイズに基づいてシャッフルパーティションを管理することでパフォーマンスを向上させます。パイプラインが失敗した場合、Gemini Cloud Assist はコンソールと統合され、自然言語を使用して問題を診断します。バッチジョブ送信における不足しているパラメータを特定できます。Gemini は、スキーマまたはデータ型の不一致によるエラーを引き起こすコードを特定することで、データ異常の解決にも役立ちます。その後、エンジニアは Gemini にプロンプトを送信して、修正され、回復力のあるコードを生成し、トラブルシューティングを合理化できます。