Evals 已成为新的产品需求文档,Expedia 人工智能... 笔记

Evals 已成为新的产品需求文档,Expedia 人工智能负责人在 VB Transform 2026 上表示”

Xavi Amatriain,Expedia Group 的首席人工智能与数据官表示,评估现已成为人工智能系统的主要产品需求文档。这些评估(包括红队测试)将安全要求嵌入设计过程的早期阶段。他认为,人工智能辅助的代码生成将增强这一方法,使所有开发思考聚焦于评估。Amatriain 在加入 Expedia 之前,曾在 Google 担任过重要的人工智能职务。VentureBeat 的研究突显了自动化评估中存在的显著信任差距,许多企业在缺乏对这些系统充分信心的情况下部署了人工智能。大量人工智能代理尽管通过了内部评估,却在现实世界的客户互动中失败。Amatriain 认为,过多的护栏会阻碍反馈循环并偏倚学习过程,将其视为一种必要但日益减损的恶。Expedia 的治理模型分层整合了原则、流程和自动化,其发布关卡根据风险等级进行校准。Amatriain 主张构建由专用代理组成的大型系统,而非单体式人工智能,认为这种方法更安全且更易管理。Expedia 的架构从组件构建到技能、子代理,最终形成编排的代理系统。他强调,系统层面的设计比特定模型对于有效的人工智能开发更为关键。限定代理的 scope 有助于在集成前进行隔离评估和锁定。Expedia 采用检索增强生成和基于延迟需求的直接 API 调用,确保缓存信息能够即时响应,而对实时数据则进行更复杂的推理。与通用聊天机器人不同,Expedia 会交叉引用供应商声明与其自身的评论数据。至关重要的是,用户保留最终点击以完成预订,这是一项不可协商的安全决策,旨在防止未经授权的行动。Amatriain 强调,安全必须从设计阶段开始整合,从而最大限度地减少对事后护栏的需求。他预见人工智能系统将日益受到其他强大人工智能代理的威胁,因此快速检测与修复至关重要。从运营中的人工智能系统向评估体系提供持续反馈循环,对于迅速修复问题至关重要。Expedia 的风险校准治理旨在领先于这一反馈循环,承认威胁格局的日益严峻以及实施健全安全措施的必要。
CdXz5zHNQW_zyL7IQFXkO.png