Команды специалистов по обработке данных часто используют Apache Spark на Dataproc для масштабной подготовки данных. Интеграция этих конвейеров с моделями машинного обучения, особенно для инференса, была сложной задачей. Чтобы упростить это, была разработана новая библиотека Python с открытым исходным кодом под названием Dataproc ML. Эта библиотека бесшовно связывает задания Apache Spark с популярными фреймворками машинного обучения и функциями Vertex AI. Она следует привычному шаблону построения в стиле SparkML, позволяя пользователям настраивать модели и применять их к DataFrame с помощью функции transform.Dataproc ML позволяет применять генеративные модели ИИ, такие как Gemini, к Spark DataFrame для таких задач, как классификация и суммирование в масштабе. Она также поддерживает выполнение инференса с моделями PyTorch и TensorFlow непосредственно из Google Cloud Storage. Это достигается путем загрузки весов модели и определения препроцессоров для пакетного инференса без отдельных конечных точек обслуживания. Библиотека создана для обеспечения производительности с использованием таких оптимизаций, как векторизованная передача данных и повторное использование соединений. Будущие планы включают поддержку Spark Connect, больше интеграций с Vertex AI и дополнительные оптимизации производительности. Библиотека призвана упростить инференс ИИ/МО непосредственно в средах Spark.