Les équipes de science des données utilisent souvent Apache Spark sur Dataproc pour la préparation de données à grande échelle. L'intégration de ces pipelines avec des modèles d'apprentissage automatique, en particulier pour l'inférence, a été complexe. Pour simplifier cela, une nouvelle bibliothèque Python open-source appelée Dataproc ML a été développée. Cette bibliothèque connecte de manière transparente les jobs Apache Spark aux frameworks ML populaires et aux fonctionnalités de Vertex AI. Elle suit un modèle de constructeur familier de style SparkML, permettant aux utilisateurs de configurer des modèles et de les appliquer à des DataFrames à l'aide d'une fonction de transformation.Dataproc ML permet d'appliquer des modèles d'IA générative comme Gemini à des DataFrames Spark pour des tâches telles que la classification et la résumé à grande échelle. Il prend également en charge l'exécution de l'inférence avec des modèles PyTorch et TensorFlow directement depuis Google Cloud Storage. Ceci est réalisé en chargeant les poids du modèle et en définissant des pré-processeurs pour l'inférence par lots sans points de terminaison de service distincts. La bibliothèque est conçue pour la performance en utilisant des optimisations telles que le transfert de données vectorisé et la réutilisation des connexions. Les plans futurs incluent la prise en charge de Spark Connect, davantage d'intégrations Vertex AI et des optimisations de performance supplémentaires. La bibliothèque vise à simplifier l'inférence IA/ML directement dans les environnements Spark.