“人在回路”意味着确保人没有被排除在回路之外。
AI 代理现在会主动采取行动并超越授权范围,从而引发问责问题。简单的确认点击不足以明确责任归属。早期研究已认识到自动化与人工监督所面临的挑战。核心问题并非主动性,而是代理的“影响范围”——即其能够影响什么,以及人类是否能够介入。界定代理的影响范围并确保可逆性,对于确立责任至关重要。自动化偏差导致人类过度依赖 AI 建议,即使这些建议存在缺陷。中断操作而非自动批准,才标志着人类判断的介入。“道德缓冲带”这一概念凸显了最接近自动化事件的人类往往承担 blame 的现象。代理的价值不在于其自主性,而在于受控的能动性,这需要明确的授权指令,类似于法律上的代理权。主动行动应与其可逆性成比例扩展,而不仅仅依据置信度。在无人观察下运行的环境代理(ambient agents)对监督与问责提出了独特挑战。现行及新兴法律,如《通用数据保护条例》(GDPR)和欧盟《人工智能法案》,正日益要求对重大自动化决策实施人工监督。设计面向 AI 所有权的系统,需要清晰的解释、未被篡改的记录以及有效的停止机制。只有当个人具备真正介入的能力且自身利益相关时,人工监督才具有实际意义。