Управляемый сервис Apache Spark от Google Cloud упрощает работу инженеров по обработке данных, абстрагируя управление инфраструктурой. Пользователи могут выбирать между управляемыми кластерами для предсказуемых рабочих нагрузок с высокой степенью утилизации или бессерверными для периодических задач, избегая затрат на простой. Бессерверный режим предлагает интерактивные сессии для исследования и пакетные задания для автоматизации. Оптимизация Spark в Google Cloud включает тщательное объявление распределения ресурсов для драйверов и исполнителей. Установка явного максимального количества исполнителей предотвращает перерасход бюджета, а управление разделами перемешивания в зависимости от размера данных улучшает производительность. Когда конвейеры завершаются с ошибкой, Gemini Cloud Assist интегрируется с консолью для диагностики проблем с использованием естественного языка. Он может выявлять отсутствующие параметры при отправке пакетных заданий. Gemini также помогает устранять аномалии данных, указывая на код, вызывающий ошибки из-за несоответствия схем или типов данных. Затем инженеры могут попросить Gemini сгенерировать исправленный и устойчивый код, оптимизируя устранение неполадок.