Datenteams nutzen häufig Apache Spark auf Dataproc für die groß angelegte Datenaufbereitung. Die Integration dieser Pipelines mit Machine-Learning-Modellen, insbesondere für die Inferenz, war bisher komplex. Um dies zu vereinfachen, wurde eine neue Open-Source-Python-Bibliothek namens Dataproc ML entwickelt. Diese Bibliothek verbindet Apache Spark-Jobs nahtlos mit gängigen ML-Frameworks und Vertex AI-Funktionen. Sie folgt einem bekannten SparkML-ähnlichen Builder-Pattern, das es Benutzern ermöglicht, Modelle zu konfigurieren und sie mit einer Transform-Funktion auf DataFrames anzuwenden.Dataproc ML ermöglicht die Anwendung von generativen KI-Modellen wie Gemini auf Spark DataFrames für Aufgaben wie Klassifizierung und Zusammenfassung im großen Maßstab. Es unterstützt auch die Ausführung von Inferenz mit PyTorch- und TensorFlow-Modellen direkt aus Google Cloud Storage. Dies wird durch das Laden von Modellgewichten und die Definition von Vorverarbeitern für die Batch-Inferenz ohne separate Serving-Endpunkte erreicht. Die Bibliothek ist auf Leistung ausgelegt und nutzt Optimierungen wie vektorisierten Datentransfer und Wiederverwendung von Verbindungen. Zukünftige Pläne umfassen die Unterstützung von Spark Connect, weitere Vertex AI-Integrationen und zusätzliche Leistungsoptimierungen. Die Bibliothek zielt darauf ab, die KI/ML-Inferenz direkt in Spark-Umgebungen zu vereinfachen.