Pinterest полагается на достоверные метрики для принятия всех решений, от оценки эффективности бизнеса до экспериментов с функциями. Сотни производителей данных генерируют тысячи метрик из огромного озера данных. Для управления этой сложностью Pinterest создала Metrics Board — комплексную платформу. Эта платформа автоматизирует создание метрик, обеспечивает их качество и позволяет проводить аналитику на основе агентов. Метрики имеют решающее значение для понимания ценности для пользователей и рекламодателей, принятия продуктовых решений и прогнозирования стратегии компании. Они также обеспечивают масштабную практику продуктовых экспериментов Pinterest, гарантируя справедливые и статистически значимые результаты.Ранее метрики определялись в специализированных конвейерах данных, что приводило к неэффективности и подрыву доверия. Metrics Board был разработан для унификации метрик, предоставления прозрачных определений, автоматизации создания конвейеров и обеспечения проверки и мониторинга метрик. Цель состояла в том, чтобы сделать метрики доступными для всех пользователей, приложений и развивающихся ИИ-агентов. Metrics Board действует как семантический слой, с определениями, управляемыми в репозитории Git, как и производственный код. Система генерирует спецификации YAML и открывает запросы на слияние, интегрируясь с более широким стеком данных.Metrics Board оркестрирует вычисление метрик с помощью запланированных Airflow DAG, изолируя каждую метрику для лучшего контроля. Он компилирует SQL в SparkSQL или PrestoSQL и автоматически генерирует задачи зависимостей и проверки качества данных. Восполнение данных управляется через Airflow, а платформа обрабатывает автоматизированные операции, такие как обнаружение задержки входящих данных. Это значительно сокращает время создания метрик с дней или недель до часов.Качество метрик имеет первостепенное значение, и каждое определение включает проверки. Эти проверки используют основанные на правилах проверки для явных ожиданий и обнаружение аномалий на основе машинного обучения. Оповещения в режиме реального времени уведомляют нужных людей при сбое проверок, а отчеты о качестве доступны через API и экспорт в PDF. Публикация гарантирует, что метрики достигнут продуктов, которыми пользуются люди, благодаря интеграции с PinCat, Helium, Superset и StarRocks. Интеграция метаданных публикуется во время коммита, а интеграция данных — после вычисления.Metrics Board облегчает обнаружение и управление, централизуя определения и метаданные для их обнаружения. Метрики автоматически поступают в PinCat, каталог данных. Система уровней сертификации, от "Неизвестно" до "A+", помогает потребителям определять надежные метрики. Панели мониторинга также классифицируются по уровням, что влияет на их хранение, производительность запросов и требуемую документацию для критически важных общекорпоративных панелей мониторинга. Панели мониторинга уровня 1 представляют собой наиболее критичный набор, получающий строгие гарантии и требующий официальной сертификации.