RSS VentureBeat
フォロー
Googleの研究者が「忠実な不確実性」を導入、LLMがハルシネーションの代わりに最善の推測を提供できるようにする
大規模言語モデルは、エンタープライズアプリケーションでの利用を妨げる幻覚（ハルシネーション）に苦慮しています。エラーを減らすための現在の方法は、有効な回答を抑制することが多く、ユーティリティ税を生み出しています。Googleの研究者は、「忠実な不確実性」というメタ認知技術を提案しており、モデルの応答を内部の信頼度と一致させます。これにより、モデルは「私の最善の推測は」といったように、不確実性を適切に表現できるようになり、すべてか無かのアプローチを回避できます。エージェンティックAIにおいて、このメタ認知は制御層として機能し、情報不足の際に外部ツールをトリガーすべきタイミングをシステムが知ることを可能にします。
歴史的に、LLMの事実性を向上させることは、知識の境界に対する認識を改善するのではなく、より多くの事実を詰め込むことでした。モデルに単に多くの事実を教えることは、有限の容量によって制限されます。LLMにとっての難しさは、自分が何を知らないかを知り、それを控えることです。これはしばしば、モデルが正しい回答を拒否することにつながり、それによってユーティリティが低下します。
幻覚を「確信のあるエラー」として再定義することで、モデルは不確かな情報を修飾できるようになります。忠実な不確実性は、言語的な不確実性が内部の信頼度と一致することを保証するため、ヘッジは本当に不確実な場合にのみ使用されます。このメタ認知能力は、自律システムにとって不可欠です。
エージェンティックアプリケーションにおいて、忠実な不確実性は、外部ツールから情報を取得するタイミングを管理します。これにより、エージェントは既知の情報を検索したり、検索が必要な場合に記憶から自信を持って誤って回答したりすることを回避できます。また、外部の信号と内部の知識を比較検討することで、ツールの結果を評価するのにも役立ちます。
忠実な不確実性を教えることは、教師ありファインチューニングを伴いますが、不確実性のターゲットは動的であるため、「ブートストラップパラドックス」に直面します。プロンプトエンジニアリングは、MetaFaithのようなフレームワークが利用可能であり、エンタープライズにとってアクセスしやすい入り口を提供します。しかし、より深いメタ認知は、最終的には高度な強化学習を必要とするでしょう。モデルにおける真の自己認識を評価することは、依然として大きな課題です。
