使用数据代理工具包实现代理数据科学
支付延迟促使合规团队怀疑存在欺诈行为,需要数据科学家识别待调查的交易。该流程包括摄入并清洗原始交易日志、训练欺诈检测模型、对新交易进行评分以及自动化整个工作流程。Antigravity IDE 中的 Data Agent Kit 简化了这一端到端流程。该套件提供 MCP 工具和 Markdown 技能,用于将代理连接到 Google Cloud 数据服务,并提供数据栈交互的指导。它还使用户能够直接从其 IDE 管理 Google 的代理数据云(Agentic Data Cloud)。初始阶段,通过代理生成的 Notebook 将交易日志加载至 BigQuery。数据加载完成后,创建一个 dbt 项目以清洗和丰富 BigQuery 数据,包括处理重复数据并与参考信息进行关联。该 dbt 项目还包含针对交易的唯一性测试。接下来,生成一个训练 Notebook,利用带有已知欺诈标签的历史数据构建随机森林(Random Forest)欺诈检测模型。随后,将训练好的模型应用于推理 Notebook,对未标记的交易进行评分。欺诈概率超过指定阈值(例如 50%)的交易将被发送至 Spanner 表以供审查。此流程生成了供合规团队调查的交易短名单。最后,利用 Apache Airflow 托管服务(Managed Service for Apache Airflow)自动化整个工作流程,确保其每日运行。代理生成 Airflow DAG 定义及部署配置,编排数据加载、转换和评分步骤。该自动化管道持续将潜在欺诈交易填充至审查队列。