データサイエンスチームは、大規模なデータ準備にDataproc上のApache Sparkをよく利用しています。特に推論においては、これらのパイプラインを機械学習モデルと統合することが複雑でした。これを簡素化するために、Dataproc MLという新しいオープンソースのPythonライブラリが開発されました。このライブラリは、Apache Sparkジョブと一般的なMLフレームワークおよびVertex AI機能をシームレスに接続します。これは、おなじみのSparkMLスタイルのビルダーパターンに従っており、ユーザーはモデルを設定し、transform関数を使用してDataFrameに適用できます。Dataproc MLを使用すると、Geminiのような生成AIモデルをSpark DataFrameに適用して、大規模な分類や要約などのタスクを実行できます。また、Google Cloud Storageから直接PyTorchおよびTensorFlowモデルでの推論を実行することもサポートしています。これは、モデルの重みをロードし、個別のサービングエンドポイントなしでバッチ推論用のプリプロセッサを定義することによって実現されます。このライブラリは、ベクトル化されたデータ転送や接続の再利用などの最適化を使用してパフォーマンスのために構築されています。今後の計画には、Spark Connectのサポート、Vertex AIの統合の追加、および追加のパフォーマンス最適化が含まれます。このライブラリは、Spark環境内でのAI/ML推論を直接簡素化することを目的としています。