AWS Glue 6.0 теперь общедоступен, предлагая снижение цены на 30% и полную поддержку Apache Iceberg v3, новых версий Apache Hudi и Delta Lake, а также новые возможности для повышения производительности разработчиков. AWS Glue 6.0 также обновляет среду выполнения до Apache Spark 4.1, Python 3.13 и Scala 2.13.С Apache Iceberg v3, AWS Glue 6.0 добавляет тип данных VARIANT с автоматическим разделением для более быстрого чтения полуструктурированных данных, векторы удаления для высокопроизводительных обновлений на уровне строк, типы данных geometry и geography для пространственной обработки, а также гибкую эволюцию схемы через тип данных UNKNOWN и значения столбцов по умолчанию. Glue 6.0 также представляет функции, повышающие производительность и эффективность разработчиков, такие как Spark Declarative Pipelines, которые устраняют повторяющийся код оркестрации, режим потоковой передачи в реальном времени для задержек менее секунды и UDF на Python, нативные для Arrow, для повышения производительности PySpark. Эти возможности помогут вам реализовать крупномасштабные ETL, повторяющиеся пакетные рабочие нагрузки, потоковую аналитику и разработку приложений искусственного интеллекта с использованием AWS Glue.AWS Glue 6.0 доступен во всех коммерческих регионах AWS, AWS GovCloud (US) и регионах AWS China.Чтобы начать, выберите Glue 6.0 из выпадающего списка версий в консоли AWS Glue или в SageMaker Unified Studio при создании новой задачи, или мигрируйте существующие задачи с помощью Spark Upgrade Agent. Чтобы узнать больше, посетите документацию AWS Glue и страницу цен AWS Glue.