为什么在 AI 渗透测试中,证据比模型记忆更重要 笔记

为什么在 AI 渗透测试中,证据比模型记忆更重要

无法复现的 AI 发现被视为负债而非确定性结果。Darkmoon 通过在每项发现中附加精确命令和原始工具输出来解决这一问题,从而支持人工同行评审。传统 AI 安全工具通常仅提供置信分数和文本描述,这对于进攻性安全而言不足够。能够展示确证漏洞的具体命令,对于在报告和会议中捍卫发现至关重要。Darkmoon 为每项发现存储已执行的命令、其原始输出以及连接它们的推理过程。这种方法将发现转化为可复现的工件,消除了盲目信任的需求。虽然更大的模型可以减少错误,但无法完全消除它们。Darkmoon 的证据链赋予人类识别任何剩余错误的能力,这构成了其核心设计原则。该方法论简化了评审流程,将其从全面重新验证转变为对证据链进行抽查。因此,报告可基于真实数据自动生成,无需对模型输出进行改写。用户可通过克隆开源社区版并在实验室环境中测试,亲身体验这一证据链。该开源工具由渗透测试人员为渗透测试人员打造,欢迎对其方法论提出反馈。