Amazon SageMaker Unified Studio теперь поддерживает AWS Glue 5.1 для заданий обработки данных

Amazon SageMaker Unified Studio теперь поддерживает AWS Glue 5.1 для визуальных ETL, ноутбуков и заданий по обработке данных на основе кода. С AWS Glue 5.1 в Amazon SageMaker Unified Studio инженеры данных и специалисты по данным могут запускать задания на Apache Spark 3.5.6 с Python 3.11 и Scala 2.12.18, а также использовать обновленные библиотеки форматов открытых таблиц, включая Apache Iceberg 1.10.0, Apache Hudi 1.0.2 и Delta Lake 3.3.2. Вы можете использовать AWS Glue 5.1 в Amazon SageMaker Unified Studio при создании заданий по обработке данных, выбрав Glue 5.1 из выпадающего списка версий в настройках задания. Это применимо к визуальным ETL-заданиям, заданиям в ноутбуках и заданиям на основе кода, поэтому вы можете использовать новейшие библиотеки среды выполнения Spark и форматов открытых таблиц во всех ваших рабочих процессах обработки данных. AWS Glue 5.1 в Amazon SageMaker Unified Studio доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), Europe (Stockholm), Europe (Frankfurt), Europe (Spain), Asia Pacific (Hong Kong), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Asia Pacific (Malaysia), Asia Pacific (Thailand), Asia Pacific (Mumbai) и South America (Sao Paulo). Чтобы узнать больше, посетите документацию Amazon SageMaker Unified Studio. Подробности о том, что входит в AWS Glue 5.1, включая обновленную поддержку форматов открытых таблиц и возможности контроля доступа, см. в документации AWS Glue.