多くのチームがLLM支援ツールを開発する際に、流暢さや一貫性に焦点を当て、モデルの正しさを検証することをスキップしています。その結果、出力が「正しく聞こえる」ため社内レビューを通過するものの、検証可能な正しさ（ground truthに対する）を欠いているために本番環境で失敗するツールが生まれます。この区別は、LLMツールが実際のビジネス上の意思決定に影響を与えるようになると、極めて重要になります。「もっともらしい」という基準では不十分です。標準的なアプローチである定性評価では、フォーマットの悪さやトピックから外れた応答のような明白なエラーしか検出できません。これらは、自信に満ちているが間違っている説明のように、微妙に間違った出力を一貫して見逃します。これらは、もっともらしく聞こえるかもしれませんが、実際の事実とは大きく乖離する可能性があります。このようなエラーは、外部の検証なしには隠れたままです。代替案は、ラベル付けされたground truthに対してモデルの出力をスコアリングする評価ハーネスです。著者は、データ移行ドリフトの根本原因説明ツールのためにこれを構築し、流暢な初期プロトタイプでさえしばしば事実上不正確であることを明らかにしました。このハーネスは、正確な評価のために3つの部分で構成されていました。第一に、設計によって確立された既知の正しい答えの合成ground truthデータセットです。これらのシナリオは、ノイズや重複する信号を含め、現実世界のパフォーマンスを正確に予測するために、現実的であるように慎重に構築する必要がありました。第二に、単純な二項正しさにとどまらず、正しい答えの存在とランクに基づいてランク付けされた出力を評価するスコアリング関数です。第三に、信頼性または一貫したエラーの全体的なパターンを明らかにするために、スポットチェックではなく、データセット全体にわたる体系的な評価です。この体系的な評価により、スキーマ変更シナリオは確実に処理されることが明らかになりましたが、変換ロジックのバグはしばしば誤った帰属につながりました。決定的なことに、重複信号シナリオは、定性レビューでは決して表面化しないであろう、自信を持って間違った説明の最も高い割合を生み出しました。モデルの表明された自信は、その正確性と相関しませんでした。特に重要な意思決定に影響を与えるツールのエンタープライズAI展開においては、チームは知覚された妥当性だけでなく、既知の正しい答えに対する正確さを測定する必要があります。合成ground truthデータセットの構築は最も困難ですが、最も重要なステップであり、特定のユースケースにおける「正しい」の正確な定義を強制します。これなしでは、組織は流暢ではあるが根本的に間違っているツールを展開するリスクを負い、その価値を損なうことになります。