Pine59 управляет крупными конвейерами данных для анализа местоположения, генерируя метрики с почасовой до квартальной периодичностью. Их метрика "Ежедневный трафик" обрабатывает до 14 миллионов местоположений за задание, работая на Google Cloud с BigQuery и Managed Service for Apache Airflow, оркестрованным Airflow 3. Для обработки растущих объемов данных и рабочих нагрузок машинного обучения Pine59 модернизировали свой монорепозиторий, содержащий сотни направленных ациклических графов (DAG). Этот переход значительно улучшил их возможности MLOps, рабочий процесс разработчиков и скорость конвейеров.Они провели стресс-тестирование производственных рабочих нагрузок на новой архитектуре Managed Airflow (Gen 3) и отметили немедленное улучшение скорости обработки, планирования задач и стабильности. Миграция оптимизировала MLOps за счет интеграции выделенного кластера Google Kubernetes Engine для инференса моделей, отделяя оркестрацию от выполнения тяжелых задач машинного обучения. Улучшенный рабочий процесс разработчиков и пользовательский интерфейс Airflow 3 были использованы с помощью пользовательских плагинов, таких как "BigQuery Auto-linkify" и "DAG Run Configuration Search", для более быстрой отладки и устранения неполадок. Промежуточный слой совместимости упростил миграцию операторов между версиями Airflow.Количественные результаты включают резкое снижение задержки очереди для запусков DAG, при этом задачи начинаются почти немедленно. Время завершения конвейера "Ежедневный трафик" сократилось почти на 32%, с 38 минут до менее чем 26 минут. Pine59 теперь запускает все производственные рабочие нагрузки на своем экземпляре Gen 3, создавая более быструю и устойчивую основу для будущих конвейеров данных и ИИ. Этот шаг позволил их инженерной команде больше сосредоточиться на предоставлении ценности, а не на управлении инфраструктурой.