编排的未来:Pine59 在 Google Cloud 上迈... 笔记

编排的未来:Pine59 在 Google Cloud 上迈向 Airflow 3 的旅程

Pine59 管理着用于位置情报的大型数据管道,每小时至每季度产出各类指标。其“每日人流”(Daily Foot Traffic)指标处理每个作业高达 1400 万个位置,运行于 Google Cloud,由 Airflow 3 编排的 BigQuery 与 Managed Service for Apache Airflow 协同工作。为应对不断增长的数据量与机器学习工作负载,Pine59 对其包含数百个有向无环图(DAG)的单体仓库进行了现代化改造。此次转型显著提升了其 MLOps 能力、开发者工作流及管道执行速度。他们对生产工作负载进行了针对新 Managed Airflow(Gen 3)架构的压力测试,并立即观察到处理速度、任务调度与稳定性的提升。迁移通过集成专用的 Google Kubernetes Engine 集群用于模型推理,实现了编排与重型 ML 执行的分离,从而优化了 MLOps。Airflow 3 改进的开发者工作流与用户界面通过自定义插件(如"BigQuery Auto-linkify"和"DAG Run Configuration Search")得以充分利用,加快了调试与故障排查。兼容性垫片层(compatibility shim layer)简化了 Airflow 版本间的算子迁移。可量化的成果包括 DAG 运行的队列延迟大幅降低,任务几乎可立即启动。“每日人流”管道的完成时间减少了近 32%,从 38 分钟缩短至不到 26 分钟。Pine59 现已将所有生产工作负载运行于其 Gen 3 实例之上,为未来的数据与 AI 管道奠定了更快、更 resilient 的基础。此举使其工程团队能更专注于价值交付,而非基础设施管理。
CdXz5zHNQW_DVdc0yCXPw.jpeg