85% 因 AI 失误而遭受损失的企业正竞相裁减那些可能发现下一个错误的人类员工。
企业正越来越多地将人类排除在 AI 部署决策之外,尽管对自动化评估方法的信任度正在上升。然而,尽管信心增强,仍有相当一部分企业(约半数)经历了 AI 功能通过测试却在生产环境中失败的情况,这一比例保持稳定。这表明,评估层的感知准确性与其在防止现实世界故障方面的实际有效性之间,差距正在扩大。经历过此类生产故障的企业实际上正在加速向自动化部署转型,而非放缓步伐。这一看似矛盾的趋势表明,重点在于提升部署成熟度,而非在测试通过后出现失败时完全放弃自动化。数据还显示,生产质量监控存在滞后,许多企业关注的是代理(agent)是否运行,而非其输出是否正确。代理评估工具市场正在演变,专业平台正获得关注,集成便捷性已成为关键采购因素。为应对自主性增强与评估不可靠之间的矛盾,企业正加大对以人为中心的审查工作流的投入,而非仅依赖自动化生产可观测性。这造成了一种悖论:企业在某些部署决策中移除人类监督,同时在流程的其他环节增加对人工审查的投资。