Агент Data Engineering теперь доступен в предварительной версии

Google Cloud представила в BigQuery Data Engineering Agent, работающий на базе Gemini, для автоматизации сложных задач по разработке данных. Этот агент призван освободить специалистов по данным от рутинной работы, позволяя создавать конвейеры на естественном языке и интеллектуально их модифицировать. Он интегрируется с Dataplex Universal Catalog для повышения релевантности и производительности конвейера за счет использования метаданных. Агент автоматизирует документирование кода и может включать пользовательскую бизнес-логику через UDF. Он значительно упрощает подготовку, преобразование и моделирование данных, включая сложные задачи, такие как создание измерения SCD Type 2. Для устранения неполадок агент анализирует журналы и предлагает решения, сокращая время простоя. Он также ускоряет миграцию конвейеров, что было продемонстрировано успехом Vodafone в сокращении времени миграции на 90%. Первые пользователи, такие как PRISA Media, сочли его ценным для автоматизации обслуживания и сложного моделирования данных. Data Engineering Agent теперь доступен в BigQuery Studio или Dataform UI. Будущие улучшения будут включать проактивное устранение неполадок, интеграцию с IDE и оркестровку конвейеров.