あなたのエージェントは幻覚を見ていません。権限を超えた ノート
VentureBeat 日本語

あなたのエージェントは幻覚を見ていません。権限を超えた

コンテンツフィルターは安全でないAI出力を効果的にブロックしますが、特定のビジネスアクションに対するエージェントの承認を判断することはできません。AIエージェントは指示に完全に従うことができますが、それでも承認されていないタスクを実行する可能性があり、過剰な返金や見落とされた条件などの問題につながります。これらの問題は、AIの推論の失敗から生じるのではなく、技術的な能力とビジネス上の権限の間のギャップから生じます。AIが推奨からアクションへと移行するにつれて、プロダクションエージェントは、実行、承認、推奨、または決して触れてはならないものを定義する明示的な意思決定権を必要とします。ガードレールは必要ですが、権限モデルとは異なり、異なるガバナンスニーズに対応します。意思決定権は、エージェントが安全で技術的に有効なアクションを実行する権限があるかどうかという質問に答えます。この質問は、最近の調査で広範なAIエージェントのインシデントと隠されたエージェントが示されていることで浮き彫りになっています。企業は、所有権、許可されたアクション、システムアクセス、重要性の制限、エスカレーションのトリガー、可逆性、および有効期限を詳細に記載したエージェント権限契約を必要とします。この契約は、アクセス制御とともに、エージェントがコンテキスト内で特定のアクションを実行できるかどうかを決定します。結果を伴うエージェントのアクションは、許可、承認、推奨、または拒否として分類されるべきであり、拒否はシステムプロンプトの外で強制されます。実行時の決定は、アクションを許可、承認、推奨、または拒否する前に、エージェントのID、コンテキスト、および影響を評価するために重要です。最も危険なAIの誤りは、間違った答えではなく、適切な承認なしに実行された正しいアクションです。人間の監視は、ゴム印を避けて注意を維持するために、すべてのアクションではなく、例外を対象とする必要があります。低リスクのアクションは自律的に実行され、高リスクのアクションは承認を必要とする比例的な承認は、実行可能なモデルを提供します。エージェントの成功指標は、精度を超えて、オーバーライド率、エスカレーションの精度、不正な試行頻度、ビジネスインパクトのエラー率、および意思決定の遅延を含める必要があります。ガバナンスのギャップは、AIモデルではなく、エージェント権限契約を通じて委任された権限を定義および強制することにあります。
CdXz5zHNQW_jf31QmzfLv.png