DZone.com Feed 中文 关注 LLM 评估分数有所提升,但生产质量并未改善。 LLM 应用可能获得更高的评估分数,但在生产环境中却变得效用降低。这种矛盾仅是表象。评估分数并非质量本身,而是由特定数据集、指标、评判者、采样策略及聚合规则所生成的估计值。若上述任一要素与生产环境存在差异,优化过程便可能在提升分数的同时,使系统实际行为朝错误方向偏离。当前的评估指南明确指出,应推荐针对具体任务的测试,以反映真实世界的数据分布、生产数据、持续评估,并相对于人类判断进行校准,而非将单一数值分数视为充分依据。 The LLM Evaluation Score Improved. Production Quality Didn't. dzone.com DZone.com Feed 中文 RSS thenote.app