国境なきレイクハウスの加速:クロスクラウドキャッシュのプレビ... ノート

国境なきレイクハウスの加速:クロスクラウドキャッシュのプレビューを発表

ボーダーレスなレイクハウスは、複数のクラウドにまたがる組織の完全なデータエステートへの統合されたアクセスを可能にします。以前は、分散データを統合するには複雑なETLパイプラインと高価なデータ転送が必要でした。レイクハウスは、さまざまなクラウドカタログにフェデレーションすることでデータをその場でクエリでき、パートナークロスクラウドインターコネクトを通じて転送コストを削減します。新しい機能強化により、データ転送を最小限に抑えることで、クロスクラウドクエリコストがさらに最適化されます。レイクハウスのクロスクラウドキャッシングは、クエリを透過的に高速化し、頻繁にアクセスされるデータをローカルにキャッシュすることでリモート転送コストを削減します。このキャッシングは、サブファイルブロックの粒度で動作し、保存時のデータを暗号化し、テナントとリージョンの分離を維持します。鮮度チェックは、キャッシュされた結果を提供する前にリモートデータが変更されたかどうかを確認することで、データの正確性を保証します。実際には、このキャッシングにより転送されるデータ量が大幅に削減され、多くの場合、処理されたデータの5%未満になります。この効率性は、総所有コスト(TCO)の削減につながり、エンタープライズ規模でクロスクラウド分析とAIを実用的なものにします。これをIcebergの圧縮と組み合わせることで、ネットワーク転送を処理された全データの3%未満に削減できます。BigQueryのクロスクラウド接続もプレビューで利用可能になり、他のクラウドの非Icebergデータへの直接クエリが可能になり、ワークロードが加速されます。これらの接続は、Google Cloudリージョン内のBigQueryコンピューティングワーカーを活用し、グローバルな可用性と完全なBigQuery機能の同等性を提供します。