데이터 과학 팀은 대규모 데이터 준비를 위해 Dataproc에서 Apache Spark를 자주 사용합니다. 특히 추론을 위한 이러한 파이프라인을 머신러닝 모델과 통합하는 것은 복잡했습니다. 이를 단순화하기 위해 Dataproc ML이라는 새로운 오픈 소스 Python 라이브러리가 개발되었습니다. 이 라이브러리는 Apache Spark 작업과 인기 있는 ML 프레임워크 및 Vertex AI 기능을 원활하게 연결합니다. 익숙한 SparkML 스타일 빌더 패턴을 따르며, 사용자는 모델을 구성하고 transform 함수를 사용하여 DataFrame에 적용할 수 있습니다.Dataproc ML을 사용하면 Gemini와 같은 생성형 AI 모델을 Spark DataFrame에 적용하여 분류 및 요약과 같은 작업을 대규모로 수행할 수 있습니다. 또한 Google Cloud Storage에서 직접 PyTorch 및 TensorFlow 모델로 추론을 실행하는 것도 지원합니다. 이는 별도의 서빙 엔드포인트 없이 배치 추론을 위한 모델 가중치를 로드하고 전처리기를 정의하여 달성됩니다. 이 라이브러리는 벡터화된 데이터 전송 및 연결 재사용과 같은 최적화를 사용하여 성능을 위해 구축되었습니다. 향후 계획에는 Spark Connect 지원, 더 많은 Vertex AI 통합 및 추가 성능 최적화가 포함됩니다. 이 라이브러리는 Spark 환경 내에서 직접 AI/ML 추론을 단순화하는 것을 목표로 합니다.