30 个重复组中有 24 个并非真正的重复。 笔记

30 个重复组中有 24 个并非真正的重复。

对 AI 代理资产的实时审计仅基于标题匹配就识别出 30 组潜在重复项。内容哈希(一种更稳健的方法)成功解决了其中 24 组。五组被确认为真实重复,即数据库中同一内容存在两次。然而,有一组包含完全无内容的行,因此无法判定。审计基于内容哈希、正文相似度、来源(provenance)和创建时间来评估重复项。除真实重复外,另有六组具有相同标题但代表完全不同的资产;七组由不同的验证探针组成,即用于测试管道的合成资产。剩余四组共 12 行具有空正文,表明这是写入路径事件而非重复问题。此外,本应用于追踪资产来源的“来源”(provenance)字段被发现不可靠。三对资产具有相同的来源引用,但内容完全无关。这凸显了仅依赖单一数据点进行去重的风险。最终,80% 看似重复的标题实际上并非重复,反之亦然,不同标题的资产也可能内容相同。该审计强调,应使用多种信号(如内容哈希和来源验证)进行准确的资产身份判定,而非仅依赖标题。