국경 없는 레이크하우스 가속화: 크로스 클라우드 캐싱 ... 노트

국경 없는 레이크하우스 가속화: 크로스 클라우드 캐싱 미리 보기 발표

경계 없는 레이크하우스는 여러 클라우드에 걸쳐 조직의 전체 데이터 에스테이트에 대한 통합 액세스를 가능하게 합니다. 이전에는 분산된 데이터를 통합하려면 복잡한 ETL 파이프라인과 비용이 많이 드는 데이터 전송이 필요했습니다. 레이크하우스는 다양한 클라우드 카탈로그에 페더레이션하여 데이터를 제자리에서 쿼리할 수 있게 하며, 파트너 크로스 클라우드 인터커넥트를 통해 전송 비용을 절감합니다. 새로운 기능은 데이터 전송을 최소화하여 크로스 클라우드 쿼리 비용을 더욱 최적화합니다.레이크하우스를 위한 크로스 클라우드 캐싱은 자주 액세스하는 데이터를 로컬에 캐싱하여 쿼리를 투명하게 가속화하고 원격 전송 비용을 절감합니다. 이 캐싱은 파일 블록 이하의 세분성으로 작동하며, 저장된 데이터를 암호화하고 테넌트 및 지역 격리를 유지합니다. 신선도 검사는 캐시된 결과를 제공하기 전에 원격 데이터가 변경되었는지 확인하여 데이터 정확성을 보장합니다. 실제로 이 캐싱은 전송되는 데이터 양을 크게 줄여 처리된 데이터의 5% 미만으로 만드는 경우가 많습니다.이러한 효율성은 총 소유 비용을 낮추어 엔터프라이즈 규모에서 크로스 클라우드 분석 및 AI를 실현 가능하게 합니다. 이를 Iceberg의 압축과 결합하면 네트워크 전송을 처리된 총 데이터의 3% 미만으로 줄일 수 있습니다. BigQuery 크로스 클라우드 연결도 미리 보기로 제공되어 다른 클라우드의 비-Iceberg 데이터에 대한 직접 쿼리를 허용하고 워크로드를 가속화합니다. 이러한 연결은 Google Cloud 리전의 BigQuery 컴퓨팅 워커를 활용하여 전역 가용성과 완전한 BigQuery 기능 패리티를 제공합니다.