L'architecture de lac de données Amazon SageMaker automatise désormais la configuration d'optimisation des tables Apache Iceberg.

L'architecture du lac de données Amazon SageMaker automatise maintenant l'optimisation des tables Apache Iceberg stockées dans Amazon S3 avec une configuration au niveau du catalogue, réduisant ainsi la surcharge de métadonnées et améliorant les performances des requêtes. Auparavant, l'optimisation des tables Iceberg dans le catalogue de données AWS Glue nécessitait la mise à jour des configurations pour chaque table individuellement. Maintenant, vous pouvez activer l'optimisation automatique pour les nouvelles tables Iceberg avec une seule configuration du catalogue de données. Une fois activée, pour chaque nouvelle table ou mise à jour de table, le catalogue de données optimise en continu les tables en compactant les petits fichiers, en supprimant les instantanés et les fichiers non référencés qui ne sont plus nécessaires, ce qui permet de contrôler les coûts de stockage et d'accélérer les requêtes. Vous pouvez commencer par sélectionner le catalogue par défaut dans la console AWS Lake Formation et activer les optimisations dans l'onglet de configuration des optimisations de table. Vous avez le choix d'un contrôle plus granulaire au niveau de la configuration de table, comme la stratégie de compaction de tri/z-order, les seuils pour le nombre de petits fichiers pour déclencher la compaction, les intervalles entre les expirations consécutives des instantanés et les opérations de nettoyage des données non référencées. Cette fonctionnalité est disponible via la console de gestion AWS, AWS CLI et les SDK AWS dans 15 régions AWS : États-Unis (Virginie du Nord, Ohio), États-Unis (Oregon), Canada (Central), Europe (Irlande, Londres, Francfort, Stockholm), Asie-Pacifique (Tokyo, Séoul, Mumbai, Singapour, Sydney, Jakarta) et Amérique du Sud (São Paulo). Pour en savoir plus, lisez le blog et visitez la documentation du catalogue de données.