На протяжении более десяти лет Apache Hive Metastore (HMS) был центральным органом для аналитики больших данных, управляя схемами для таких движков запросов, как Spark и Presto. Однако по мере масштабирования архитектур данных и охвата нескольких движков запросов устаревшие развертывания HMS становятся значительными операционными узкими местами. Эти устаревшие системы сталкиваются с проблемами масштабирования архитектуры, поскольку их зависимость от реляционных баз данных создает проблемы с производительностью. Они также создают разрозненное управление идентификацией и безопасностью, требуя фрагментированных политик в различных плоскостях управления. Кроме того, управление и настройка автономных экземпляров HMS приводят к значительным операционным накладным расходам и увеличению общей стоимости владения.Бессерверный каталог среды выполнения Lakehouse от Google Cloud предлагает решение, построенное на открытой спецификации Apache Iceberg REST Catalog. Этот каталог представляет собой унифицированный, высокодоступный реестр метаданных, поддерживающий как устаревшие форматы Hive/Parquet, так и современные форматы, такие как Iceberg. Он отделяет обнаружение метаданных от вычислительных движков, позволяя нескольким движкам получать доступ к данным без их копирования. Это обеспечивает интероперабельность между несколькими движками, открытые API и миграцию без копирования данных путем прямого обращения к существующим данным в облачном хранилище. Управление на основе ИИ интегрируется с Cloud IAM для обеспечения согласованной безопасности и доверенного контекста, а выдача учетных данных дополнительно повышает безопасность.Каталог среды выполнения Lakehouse готов к использованию в корпоративных средах, масштабируется на инфраструктуре Google и обеспечивает высокую доступность для отказоустойчивости. Его бессерверная природа снижает операционные трудозатраты и общую стоимость владения. Возможность миграции без копирования данных позволяет напрямую перейти от устаревших Hive Metastores к каталогу Lakehouse. Модернизация до Lakehouse унифицирует управление, обеспечивает доверенный контекст для агентов и значительно снижает операционные расходы, подготавливая облачные среды к операциям в масштабе агентов.