Pine59은 위치 인텔리전스를 위한 대규모 데이터 파이프라인을 관리하며, 시간별부터 분기별까지 메트릭을 생성합니다. 그들의 일일 유동 인구 지표는 작업당 최대 1,400만 개의 위치를 처리하며, Airflow 3에 의해 오케스트레이션되는 BigQuery 및 Managed Service for Apache Airflow를 사용하여 Google Cloud에서 실행됩니다. 증가하는 데이터 볼륨과 머신러닝 워크로드를 처리하기 위해 Pine59는 수백 개의 Directed Acyclic Graphs(DAGs)를 포함하는 모노레포를 현대화했습니다. 이 전환은 MLOps 기능, 개발자 워크플로우 및 파이프라인 속도를 크게 향상시켰습니다.그들은 새로운 Managed Airflow(Gen 3) 아키텍처에 대해 프로덕션 워크로드를 스트레스 테스트했으며, 처리 속도, 작업 스케줄링 및 안정성에서 즉각적인 개선을 관찰했습니다. 이 마이그레이션은 모델 추론을 위한 전용 Google Kubernetes Engine 클러스터를 통합하고 오케스트레이션을 무거운 ML 실행과 분리함으로써 MLOps를 최적화했습니다. Airflow 3의 개선된 개발자 워크플로우와 사용자 인터페이스는 "BigQuery Auto-linkify" 및 "DAG Run Configuration Search"와 같은 사용자 정의 플러그인을 통해 활용되어 디버깅 및 문제 해결 속도를 높였습니다. 호환성 shim 레이어는 Airflow 버전 간의 연산자 마이그레이션을 간소화했습니다.정량화 가능한 결과에는 DAG 실행을 위한 큐 지연 시간의 극적인 감소가 포함되며, 작업이 거의 즉시 시작됩니다. 일일 유동 인구 파이프라인의 완료 시간은 38분에서 26분 미만으로 거의 32% 감소했습니다. Pine59는 이제 모든 프로덕션 워크로드를 Gen 3 인스턴스에서 실행하여 향후 데이터 및 AI 파이프라인을 위한 더 빠르고 탄력적인 기반을 구축했습니다. 이 움직임으로 엔지니어링 팀은 인프라 관리보다 가치 제공에 더 집중할 수 있게 되었습니다.