Оркестрация конвейеров на осно... Заметка

Оркестрация конвейеров на основе событий с помощью Amazon MWAA и Airflow 3.0

Команды инженеров данных, использующие Apache Airflow в нескольких учетных записях AWS, не имеют встроенного способа координации рабочих процессов между отдельными средами Amazon MWAA. С Airflow 3.0 на Amazon MWAA вы можете использовать планирование на основе активов и Asset Watchers с Amazon SQS для создания событийно-ориентированной меж учетной записи оркестрации, которая заменяет опрос триггерами почти в реальном времени.
CdXz5zHNQW_l3JvWOYAfw.jpeg