使用 Amazon MWAA 和 Airflow 3.0 实... 笔记

使用 Amazon MWAA 和 Airflow 3.0 实现事件驱动的管道编排

在多个 AWS 账户中运行 Apache Airflow 的数据工程团队,此前无法在独立的 Amazon MWAA 环境之间协调工作流。借助 Amazon MWAA 上的 Airflow 3.0,您可以利用基于资产的调度(asset-based scheduling)和资产监听器(Asset Watchers)结合 Amazon SQS,构建事件驱动的跨账户编排,以近乎实时的触发机制替代传统的轮询方式。
CdXz5zHNQW_l3JvWOYAfw.jpeg