Google Cloud Blog на русском
Подписаться
Нулевой код, низкая стоимость приема данных: новые возможности BigQuery DTS
В цифровой экономике эффективное управление данными имеет решающее значение, но многие компании сталкиваются со сложностями внутренних ETL-конвейеров или ненадежными сторонними инструментами. BigQuery Data Transfer Service (DTS) предлагает полностью управляемое решение без кода, которое автоматизирует загрузку данных в BigQuery, освобождая команды от обслуживания конвейеров. Сервис расширяет свои интеграции для устранения разрозненности данных на различных платформах. Новые возможности включают прямую загрузку в таблицы Apache Iceberg из облачного хранилища, обеспечивая совместимость с несколькими облаками при сохранении производительности BigQuery.Архитектура следующего поколения на основе агентов позволяет приложениям ИИ программно обнаруживать и управлять передачей данных. DTS теперь поддерживает корпоративные базы данных, такие как Microsoft SQL Server, PostgreSQL и MySQL, для полной и инкрементальной передачи, консолидируя данные в BigQuery. Платформы электронной коммерции и маркетинга, такие как Shopify, Klaviyo, HubSpot и Mailchimp, также интегрированы для автоматизации извлечения детальных данных.Коннекторы для миграции, включая Snowflake, предлагают функции для беспрепятственного перемещения данных. Крупные коннекторы, такие как ServiceNow, Salesforce и Oracle, были улучшены с помощью нативных инкрементальных обновлений. BigQuery DTS обеспечивает экономическую эффективность благодаря бесплатной загрузке для многих источников Google и других основных источников, а также низким ставкам на основе потребления для сторонних SaaS.Безопасность беспрепятственна, с автоматическим наследованием функций безопасности BigQuery, таких как безопасность на уровне столбцов и ключи шифрования, управляемые клиентом, без дополнительной настройки. Сервис может похвастаться ведущей в отрасли производительностью и отказоустойчивостью с SLA по ежемесячному времени безотказной работы >=99,99%, обеспечивая надежные обновления данных. Компании могут трансформировать свои операции с данными, используя BigQuery DTS для создания масштабируемого стека данных, при этом новые коннекторы постоянно разрабатываются на основе потребностей пользователей.