使用 Apache Airflow 托管服务扩展数据与 AI

编排正演进为治理企业智能的核心，Google Cloud 大力投资开源解决方案，如 Apache Airflow。Managed Service for Apache Airflow 取得了显著进展，包括 Airflow 3.1 的正式发布。Airflow 3.1 的功能包括解耦架构、DAG 版本控制、增强的回填能力、事件驱动调度以及人机协同能力。数据工程代理（Data Engineering Agents）现已集成，利用 AI 排查管道故障并提供修复方案。编排管道现通过部署自动化框架进行部署，使用可读性强的 YAML 文件，简化了管道创建与部署流程，即使跨不同数据工具亦然。引入了 Managed Airflow MCP Server，提供代理式工具支持，简化任务管理。这些进展旨在降低基础设施负担，赋能数据团队专注于洞察。数据工程师与分析师现可利用新框架开展协作。这一新方法促进了更具包容性的数据文化。这些功能使 Google Cloud 的 Managed Airflow 成为所有数据专业人士的理想选择。