本番環境でのLLM出力の評価には、HTTPステータスコードのような単純な運用チェック以上のものが必要です。エアカナダのチャットボット事件は、200のステータスコードが、割引ポリシーの発明のような有害な幻覚を隠蔽する可能性があることを浮き彫りにしました。これに対処するためには、運用上の健全性とは独立して出力品質を評価するための、別の評価レイヤーが必要です。このレイヤーは、LLM-as-a-judgeと採点付きルーブリックを使用して、正確性や関連性などの次元を評価します。これらのジャッジのシステムプロンプトは、その役割、出力形式を明確に定義し、詳細で一貫性のある採点ルーブリックを埋め込む必要があります。これらのルーブリックは、平易な言葉で書かれ、LLMの応答を評価するための基準と評価スケールを提供します。G-Evalのような技術は、評価を逐次的なステップに分解することで信頼性を向上させることができます。ランタイムガードレールはセーフティネットとして機能し、推論時に安全でない、または関連性のない出力を傍受してフラグを立てたりブロックしたりします。これらのガードレールは、即時のポリシー施行のために設計された特定のルーブリックを持つLLM-as-a-judgeをしばしば採用します。本番環境の評価ワークフローの実装には、システムプロンプトとルーブリックのバージョン管理、オフライン評価の実行、およびランタイムセーフティネットとしてのガードレールの使用が含まれます。これにより、プロンプトのチューニングと品質維持のための継続的なフィードバックループが作成されます。システムプロンプト、採点付きルーブリック、およびランタイムガードレールを統合することにより、LLMは本番環境で効果的に管理され、品質と安全性の両方を確保できます。