LLM-as-a-Judge 評価のための構造化生成の使用方法

構造化生成は、生成モデルが出力する結果を特定のスキーマに適合させるための機械学習のサブフィールドです。これにより、生成されたテキストが予め定義された構造に従うことが保証され、例えば有効なJSON形式などになります。この技術は、LLM評価における複雑な多段階推論エージェントの構築に不可欠です、特にオープンソースモデルの場合です。このプロセスでは、スキーマを定義し、出力結果をパースして要件を満たすことを確認します。例えば、Larkライブラリを使用して、有効なJSON文字列と無効なJSON文字列を指定するための簡単なJSON文法を定義することができます。モデルが出力する結果をガイドするために、検証関数を使用して生成されたテキストが有効か不完全かをチェックする再帰的なサンプリング関数を作成することができます。このアプローチは、計算オーバーヘッドを追加する可能性がありますが、最適化された実装ではレイテンシーの影響を最小化することができます。構造化生成は、LLM-as-a-judgeメトリクスにおける幻覚検出のような、従来のヒューリスティック方法が苦戦する概念に対しても適用できます。幻覚の普遍的に同意された定義が必要であり、イリノイ大学シャンペーン・ウルバナの論文では、実際の展開での制約や望ましい挙動との衝突や逸脱を生成された出力として定義しています。