指标看板:构建面向智能体的指标层 笔记

指标看板:构建面向智能体的指标层

Pinterest 在所有决策制定中均依赖可信指标,涵盖业务表现到功能实验。数百名数据生产者从海量数据湖中生成数千个指标。为管理这一复杂性,Pinterest 构建了 Metrics Board,一个端到端平台。该平台自动化指标创建、强制执行质量规范,并支持由智能体驱动的统计分析。指标对于理解用户与广告商价值、推动产品决策及预测公司战略至关重要。同时,指标也支撑 Pinterest 的大规模产品实验实践,确保结果公平且具有统计显著性。此前,指标定义于定制的数据管道中,导致效率低下与信任流失。Metrics Board 旨在统一指标、提供透明定义、自动化管道创建,并确保指标验证与监控。其目标是使指标对所有用户、应用程序及不断演进的 AI 智能体而言易于使用。Metrics Board 充当语义层,其定义在 Git 仓库中管理,如同生产代码。系统生成 YAML 规范并发起拉取请求,与更广泛的数据栈集成。Metrics Board 通过调度 Airflow DAG 编排指标计算,将每个指标隔离以实现更优控制。它将 SQL 编译为 SparkSQL 或 PrestoSQL,并自动生成依赖任务与数据质量检查。回填操作由 Airflow 管理,平台还处理自动化运维任务,如检测上游数据延迟。此举将指标创建时间从数天或数周缩短至数小时。指标质量至关重要,每个定义均包含验证规则。这些验证采用基于规则的检查以明确预期,并结合基于机器学习的异常检测。当检查失败时,警报会实时通知相关人员;质量报告可通过 API 获取并导出为 PDF。发布机制确保指标能够到达用户实际使用的产品中,集成支持 PinCat、Helium、Superset 和 StarRocks。元数据集成在提交时发布,而数据集成则在计算完成后发布。Metrics Board 通过集中定义与元数据促进发现与治理,提升可发现性。指标自动流入 PinCat 数据目录。认证等级体系从“未知”到"A+",帮助使用者识别可信指标。仪表板也被划分为不同层级,影响留存率、查询性能及关键公司级仪表板所需的文档要求。一级仪表板代表最关键的一组,享有强保障并需经过正式认证。
CdXz5zHNQW_G7lgncluYP.png