В Amazon EMR Serverless представлены элементы управления выполнением заданий, параллелизмом и очередями

Amazon EMR Serverless - это серверный вариант Amazon EMR, который упрощает для инженеров данных и ученых-исследователей запуск открытых аналитических фреймворков больших данных без необходимости настройки, управления и масштабирования кластеров или серверов. Сегодня мы рады объявить о запуске контроля доступа к запуску задач в Amazon EMR Serverless с поддержкой параллельного запуска задач и управления очередями. Параллельный запуск задач и управление очередями позволяет вам настроить максимальное количество параллельных запусков задач для приложения и автоматически помещать все остальные запуски задач в очередь. Это предотвращает сбои в запуске задач, вызванные превышением лимитов API из-за резкого увеличения количества запусков задач или когда ресурсы исчерпаны из-за превышения лимита максимального количества параллельных vCPU для учетной записи или приложения или лимита IP-адресов подсети. Управление очередями задач также упрощает управление запусками задач, исключая необходимость создания сложных систем управления очередями для повторной попытки выполнения неудавшихся задач из-за ошибок лимитов (например, максимальное количество параллельных vCPU, лимиты IP-адресов подсети и т. д.). С этой функцией задачи автоматически помещаются в очередь и обрабатываются по мере доступности слотов параллельности, обеспечивая эффективное использование ресурсов и предотвращая сбои в запуске задач. Контроль доступа к запуску задач Amazon EMR Serverless с поддержкой параллельного запуска задач и управления очередями доступен во всех регионах AWS, где доступен AWS EMR Serverless, включая регионы AWS GovCloud (US) и исключая регионы Китая. Чтобы узнать больше, посетите раздел "Параллельность задач и управление очередями" в документации EMR Serverless.