在生产环境中评估大语言模型（LLM）的输出，不能仅依赖简单的运营检查（如 HTTP 状态码）。加拿大航空聊天机器人事件表明，200 状态码可能掩盖有害的幻觉，例如虚构折扣政策。为解决这一问题，需要引入独立的评估层，在不依赖运营健康状态的前提下评估输出质量。该层采用"LLM 作为裁判”方法，结合评分量表，对正确性、相关性等维度进行评估。这些裁判的系统提示必须清晰定义其角色、输出格式，并嵌入详细且一致的评分量表。这些以自然语言编写的量表提供了评估 LLM 响应的标准与评分等级。通过采用 G-Eval 等技术将评估分解为顺序步骤，可提升可靠性。运行时护栏则充当安全网，在推理阶段拦截并标记或阻止不安全或不相关的输出。这些护栏通常也采用"LLM 作为裁判”，并配备专为即时政策执行设计的特定量表。实施生产评估工作流包括对系统提示和量表进行版本管理、执行离线评估，并将护栏作为运行时安全网。由此形成用于提示调优与质量维护的持续反馈闭环。通过整合系统提示、评分量表和运行时护栏，可有效管理生产环境中的 LLM，确保其兼具质量与安全。