Google Cloud Blog на русском
Подписаться
Ускорение безграничного Lakehouse: анонс предварительной версии межоблачного кэширования
Безграничный Lakehouse обеспечивает унифицированный доступ ко всему массиву данных организации в нескольких облаках. Ранее интеграция распределенных данных требовала сложных ETL-конвейеров и дорогостоящей передачи данных. Lakehouse позволяет запрашивать данные на месте, федеративно подключаясь к различным облачным каталогам, и предлагает снижение затрат на передачу данных через Partner Cross-Cloud Interconnect. Новые усовершенствования дополнительно оптимизируют затраты на межоблачные запросы, минимизируя передачу данных.Межоблачное кэширование для Lakehouse прозрачно ускоряет запросы и снижает затраты на удаленную передачу данных за счет локального кэширования часто используемых данных. Это кэширование работает на уровне блоков данных, шифрует данные при хранении и обеспечивает изоляцию арендаторов и регионов. Проверки актуальности данных гарантируют их точность, проверяя, изменились ли удаленные данные, прежде чем предоставлять кэшированные результаты. На практике такое кэширование значительно сокращает объем передаваемых данных, часто до менее чем 5% обрабатываемых данных.Эта эффективность приводит к снижению общей стоимости владения, делая межоблачную аналитику и ИИ жизнеспособными в масштабах предприятия. Сочетание этого с сжатием Iceberg может сократить сетевые передачи до менее чем 3% от общего объема обрабатываемых данных. Межоблачные соединения BigQuery также доступны в предварительной версии, позволяя напрямую запрашивать не-Iceberg данные в других облаках и ускоряя рабочие нагрузки. Эти соединения используют вычислительные рабочие процессы BigQuery в регионах Google Cloud, предлагая глобальную доступность и полное соответствие функциям BigQuery.