Pine59は、ロケーションインテリジェンスのための大規模データパイプラインを管理しており、メトリクスを時間単位から四半期単位で生成しています。同社のデイリーフットトラフィックメトリクスは、ジョブあたり最大1400万件のロケーションを処理し、Google Cloud上でBigQueryとManaged Service for Apache Airflowを使用し、Airflow 3によってオーケストレーションされています。データ量と機械学習ワークロードの増加に対応するため、Pine59は数百の有向非巡回グラフ（DAG）を含むモノレポをモダナイズしました。この移行により、MLOps機能、開発者のワークフロー、パイプライン速度が大幅に向上しました。同社は、新しいManaged Airflow（Gen 3）アーキテクチャに対して本番ワークロードのストレステストを実施し、処理速度、タスクスケジューリング、安定性の即時的な改善を観察しました。この移行は、モデル推論のために専用のGoogle Kubernetes Engineクラスタを統合し、オーケストレーションと重いML実行を分離することでMLOpsを最適化しました。Airflow 3の改善された開発者ワークフローとユーザーインターフェースは、「BigQuery Auto-linkify」や「DAG Run Configuration Search」のようなカスタムプラグインを通じて活用され、デバッグとトラブルシューティングを迅速化しました。互換性シムレイヤーは、Airflowバージョン間のオペレーター移行を合理化しました。定量的な結果としては、DAG実行のキューレイテンシが劇的に減少し、タスクがほぼ即座に開始されるようになりました。デイリーフットトラフィックパイプラインの完了時間は、38分から26分未満へと約32%短縮されました。Pine59は現在、すべての本番ワークロードをGen 3インスタンスで実行しており、将来のデータおよびAIパイプラインのための、より高速で回復力の高い基盤を確立しています。この移行により、同社のエンジニアリングチームは、インフラストラクチャ管理よりも価値提供に集中できるようになりました。