Каталог данных AWS Glue теперь поддерживает автоматическую оптимизацию таблиц Apache Iceberg через Amazon VPC

Сейчас AWS Glue Data Catalog поддерживает автоматическую оптимизацию таблиц Apache Iceberg, доступных только из определенной среды Amazon Virtual Private Cloud (VPC). Вы можете включать автоматическую оптимизацию, предоставляя конфигурацию VPC для оптимизации хранения и улучшения производительности запросов, сохраняя таблицы в безопасности. AWS Glue Data Catalog поддерживает уплотнение, удержание снимков и управление файлами, не имеющими ссылок, что позволяет вам уменьшать метаданные, контролировать затраты на хранение и улучшать производительность запросов. Клиенты, у которых есть требования к управлению и безопасности, требующие того, чтобы корзина Amazon S3 находилась в определенной VPC, теперь могут использовать это с Glue Catalog. Это предоставляет вам более широкие возможности для автоматического управления данными Apache Iceberg, независимо от того, где они хранятся в Amazon S3. Автоматическая оптимизация для таблиц Iceberg через Amazon VPC доступна в 13 регионах AWS: US East (N. Virginia, Ohio), US West (Oregon), Europe (Ireland, London, Frankfurt, Stockholm), Asia Pacific (Tokyo, Seoul, Mumbai, Singapore, Sydney), South America (São Paulo). Клиенты могут включать это через AWS Console, AWS CLI или AWS SDK. Чтобы начать работу, вы теперь можете предоставлять Glue network connection как дополнительную конфигурацию вместе с настройками оптимизации, такими как период удержания по умолчанию и дни для хранения неиспользуемых файлов. AWS Glue Data Catalog будет использовать информацию VPC в Glue connection для доступа к корзинам Amazon S3 и оптимизации таблиц Apache Iceberg. Чтобы узнать больше, прочитайте блог и посетите документацию AWS Glue Data Catalog.