Google Cloud의 Managed Service for Apache Spark는 인프라 관리를 추상화하여 데이터 엔지니어링을 간소화합니다. 사용자는 예측 가능하고 높은 활용도를 보이는 워크로드의 경우 관리형 클러스터를 선택하거나, 간헐적인 작업의 경우 서버리스를 선택하여 유휴 비용을 피할 수 있습니다. 서버리스는 탐색을 위한 대화형 세션과 자동화를 위한 일괄 작업을 제공합니다. Google Cloud에서 Spark를 최적화하려면 드라이버 및 실행기에 대한 리소스 할당을 신중하게 선언해야 합니다. 명시적인 최대 실행기 설정을 통해 예산 초과를 방지하고, 데이터 크기에 따라 셔플 파티션을 관리하여 성능을 향상시킬 수 있습니다. 파이프라인이 실패할 경우 Gemini Cloud Assist는 콘솔과 통합되어 자연어를 사용하여 문제를 진단합니다. 일괄 작업 제출 시 누락된 매개변수를 식별할 수 있습니다. Gemini는 또한 스키마 또는 데이터 유형 불일치로 인해 오류를 유발하는 코드를 정확히 찾아내어 데이터 이상을 해결하는 데 도움을 줍니다. 엔지니어는 Gemini에 프롬프트를 제공하여 수정되고 복원력이 뛰어난 코드를 생성하도록 하여 문제 해결을 간소화할 수 있습니다.