Google Cloud의 Lakehouse 런타임 카탈로그를 사용하여 Apache Hive를 현대화하는 방법
10년 이상 Apache Hive Metastore(HMS)는 Spark 및 Presto와 같은 쿼리 엔진의 스키마를 관리하며 빅데이터 분석의 중앙 권위 역할을 해왔습니다. 그러나 데이터 아키텍처가 확장되고 여러 쿼리 엔진에 걸쳐 사용됨에 따라 레거시 HMS 배포는 상당한 운영 병목 현상이 됩니다. 이러한 레거시 시스템은 관계형 데이터베이스에 의존하여 성능 문제를 야기하므로 아키텍처 확장성 문제에 어려움을 겪습니다. 또한 사일로화된 ID 및 보안 거버넌스를 생성하여 다양한 제어 평면 전반에 걸쳐 파편화된 정책이 필요합니다. 더욱이 독립형 HMS 인스턴스를 관리하고 튜닝하는 것은 상당한 운영 오버헤드와 총 소유 비용 증가로 이어집니다.Google Cloud의 서버리스 Lakehouse 런타임 카탈로그는 개방형 Apache Iceberg REST Catalog 사양을 기반으로 구축된 솔루션을 제공합니다. 이 카탈로그는 레거시 Hive/Parquet 및 Iceberg와 같은 최신 형식을 모두 지원하는 통합되고 고가용성 메타데이터 레지스트리입니다. 메타데이터 검색을 컴퓨팅 엔진과 분리하여 여러 엔진이 데이터를 복사하지 않고 액세스할 수 있도록 합니다. 이를 통해 여러 엔진 상호 운용성, 개방형 API 및 클라우드 스토리지의 기존 데이터를 직접 참조하는 제로 데이터 복사 마이그레이션이 가능합니다. AI 기반 거버넌스는 Cloud IAM과 통합되어 일관된 보안 및 신뢰할 수 있는 컨텍스트를 제공하며, 자격 증명 발급은 보안을 더욱 강화합니다.Lakehouse 런타임 카탈로그는 엔터프라이즈급으로 Google의 인프라에서 확장되며 장애 조치를 위한 고가용성을 제공합니다. 서버리스 특성은 운영상의 어려움과 총 소유 비용을 줄입니다. 제로 복사 마이그레이션 기능을 통해 레거시 Hive Metastores에서 Lakehouse 카탈로그로 직접 전환할 수 있습니다. Lakehouse로 현대화하면 거버넌스가 통합되고 에이전트에 대한 신뢰할 수 있는 컨텍스트가 제공되며 운영 비용이 절감되어 에이전트 규모의 작업을 위해 클라우드 환경을 준비합니다.