Amazon SageMaker Lakehouse-Architektur automatisiert jetzt die Optimierungskonfiguration von Apache Iceberg-Tabellen

Die Lakehouse-Architektur von Amazon SageMaker automatisiert jetzt die Optimierung von Apache Iceberg-Tabellen, die in Amazon S3 gespeichert sind, mit einer Konfiguration auf Katalogebene, was den Metadatenaufwand reduziert und die Abfrageleistung verbessert. Zuvor erforderte die Optimierung von Iceberg-Tabellen im AWS Glue Data Catalog die individuelle Aktualisierung der Konfigurationen für jede Tabelle. Jetzt können Sie die automatische Optimierung für neue Iceberg-Tabellen mit einer einmaligen Data Catalog-Konfiguration aktivieren. Sobald diese aktiviert ist, optimiert der Data Catalog für jede neue oder aktualisierte Tabelle kontinuierlich Tabellen, indem er kleine Dateien komprimiert, Snapshots entfernt und nicht referenzierte Dateien, die nicht mehr benötigt werden, bereinigt. Dies führt zu kontrollierten Speicherkosten und schnelleren Abfragen. Sie können loslegen, indem Sie den Standardkatalog in der AWS Lake Formation-Konsole auswählen und die Optimierungen im Konfigurationsreiter "Table Optimizations" aktivieren. Sie haben die Wahl zwischen zusätzlicher granularer Kontrolle auf der Ebene der Tabellenkonfiguration, wie z. B. der Komprimierungsstrategie "Sort/Z-Order", Schwellenwerten für die Anzahl kleiner Dateien, die eine Komprimierung auslösen, Intervallen zwischen aufeinanderfolgenden Ablaufereignissen von Snapshots und Bereinigungsoperationen für nicht referenzierte Daten. Diese Funktion ist über die AWS Management Console, die AWS CLI und die AWS SDKs in 15 AWS-Regionen verfügbar: USA Ost (Nord-Virginia, Ohio), USA West (Oregon), Kanada (Zentral), Europa (Irland, London, Frankfurt, Stockholm), Asien-Pazifik (Tokio, Seoul, Mumbai, Singapur, Sydney, Jakarta) und Südamerika (São Paulo). Weitere Informationen finden Sie im Blogbeitrag und in der Dokumentation zum Data Catalog.