Google 研究人员推出“忠实不确定性”机制,使大语言模型... 笔记

Google 研究人员推出“忠实不确定性”机制,使大语言模型能够提供最佳猜测而非产生幻觉。

大型语言模型(LLM)在幻觉问题上表现不佳,这阻碍了其在企业级应用中的使用。当前减少错误的方法往往抑制了有效回答,从而产生“效用税”。谷歌研究人员提出了“忠实不确定性”(faithful uncertainty),这是一种元认知技术,旨在使模型的回答与其内部置信度保持一致。这使得模型能够恰当地表达不确定性,例如使用“我最好的猜测是……",避免非此即彼的处理方式。在代理式人工智能(agentic AI)中,这种元认知充当控制层,使系统能够识别何时因信息缺失而触发外部工具。 历史上,提升 LLM 事实准确性的方法侧重于增加事实数量,而非改善其对知识边界的认知。单纯向模型灌输更多事实受限于有限的容量。LLM 面临的真正困难在于知晓自己“不知道什么”并予以克制。这常常导致模型拒绝给出正确答案,从而降低其实用性。 将幻觉重新定义为“自信的错误”,使模型能够对不确定信息进行限定。忠实不确定性确保语言层面的不确定性与内部置信度相匹配,因此仅在真正不确定时才使用缓和语。这种元认知能力对于自主系统至关重要。 对于代理式应用,忠实不确定性管理何时从外部工具检索信息。它帮助代理避免搜索已知信息,或在需要搜索时避免基于记忆自信地给出错误答案。此外,它还有助于评估工具结果,通过权衡外部信号与内部知识来实现。 教授忠实不确定性涉及监督微调,但这面临“自举悖论”(bootstrapping paradox),因为不确定性的目标是动态变化的。提示工程为企业提供了一个可及的切入点,例如 MetaFaith 框架。然而,更深层次的元认知最终将需要先进的强化学习。评估模型中真正的自我意识仍然是一个重大挑战。
CdXz5zHNQW_6QCL7CNxWW.jpeg