운영 환경에서 LLM 출력을 평가하는 것은 HTTP 상태 코드와 같은 단순한 운영 점검 이상의 것을 요구합니다. 에어 캐나다 챗봇 사건은 200 상태 코드가 할인 정책을 만들어내는 것과 같은 해로운 환각을 어떻게 숨길 수 있는지 보여줍니다. 이를 해결하기 위해 운영 상태와 독립적으로 출력 품질을 평가할 별도의 평가 계층이 필요합니다. 이 계층은 LLM-as-a-judge와 채점된 루브릭을 사용하여 정확성 및 관련성과 같은 차원을 평가합니다. 이러한 판사의 시스템 프롬프트는 역할, 출력 형식, 그리고 상세하고 일관된 채점 루브릭을 포함하여 명확하게 정의해야 합니다. 이러한 루브릭은 평이한 언어로 작성되어 LLM 응답을 평가하기 위한 기준과 등급 척도를 제공합니다. G-Eval과 같은 기술은 평가를 순차적인 단계로 분해하여 신뢰성을 향상시킬 수 있습니다. 런타임 가드레일은 추론 시점에 안전하지 않거나 관련 없는 출력을 가로채고 플래그를 지정하거나 차단하는 안전망 역할을 합니다. 이러한 가드레일은 종종 즉각적인 정책 시행을 위해 설계된 특정 루브릭을 가진 LLM-as-a-judge를 사용합니다. 운영 환경 평가 워크플로우를 구현하는 것은 시스템 프롬프트와 루브릭의 버전 관리, 오프라인 평가 실행, 그리고 런타임 안전망으로 가드레일을 사용하는 것을 포함합니다. 이는 프롬프트 튜닝 및 품질 유지를 위한 지속적인 피드백 루프를 생성합니다. 시스템 프롬프트, 채점된 루브릭, 그리고 런타임 가드레일을 통합함으로써, LLM은 운영 환경에서 효과적으로 관리되어 품질과 안전성을 모두 보장할 수 있습니다.