大规模事实核查:构建更准确高效的摘要事实性系统 笔记

大规模事实核查:构建更准确高效的摘要事实性系统

摘要为剧集提供简要概述,帮助观众决定观看内容。摘要必须基于事实,在提供信息与引发兴趣之间取得平衡。在 Netflix 的规模下对摘要进行事实核查,需要自动化的事实性服务。现有服务采用推理模型,但因长上下文模型调用成本高昂且推理依据与目标不一致而面临局限。一种新方法将每个摘要的成本降低了 52.4%,并提升了质量,其中 Recall-Fail 指标从 0.77 提升至 0.86。同时,与人类推理依据的吻合度达到 82%,较之前的 69% 有所提高。事实性不仅包含字面真实,还需避免产生误导性印象,这一点在具有微妙之处的《布里奇顿》(Bridgerton)案例中尤为明显。原有流程涉及多次昂贵的全览式大语言模型(LLM)调用及长上下文,且常生成不可靠的推理。分析当前流程发现,并非所有摘要都需要多重核查;通过置信度分数即可识别简单案例。由此提出“置信度门控”方法,仅对困难案例进行额外审查。替代原有的相同全览式评判者,引入了专门针对特定错误类型的“字面”(Literal)和“言外之意”(Implicature)评判者。此外,模型推理中常包含诸如假设或疑虑等“不稳定点”,现被加以利用。路由模型将这些内容重述为可验证的“原子主张”,并发送至二级 Stage-2 评判者。该级联式事实性服务结合了专用评判者、置信度门控升级机制以及针对性复查,从而提升准确性与效率。新的分层系统使摘要同时经过两级评判:高置信度裁决为最终结果,低置信度案例则升级至路由模型及 Stage-2 评判者。若二级核查支持让步或反驳假设,Stage 2 可推翻初始裁决。该全面评估聚焦于质量(主要关注 Recall-FAIL)与成本降低,包括 LLM 调用及端到端裁决生成成本。
CdXz5zHNQW_QAZhlU0pfk.png