記事:LLM信頼性レイヤーのテスト:精度、収量、および検証の... ノート
InfoQ 日本語

記事:LLM信頼性レイヤーのテスト:精度、収量、および検証の限界

検証レイヤーは、エラーを修正するのではなく、信頼性によって出力をソートします。6つの信頼性レイヤーのベンチマークでは、投票と自己修正は精度を回復できませんでした。それらは疑わしいレコードを単に保留しただけでした。本番システムは、生成を決定論的なルックアップに置き換えること、生の精度よりもスループットを追跡すること、およびチェックを積み重ねる前に抽出のボトルネックを解決することによって、より高い信頼性を得ます。Pushpdeep Mishra、Wejdan Bagais
CdXz5zHNQW_GsZ46ud08z.jpeg