AIエージェントが「完了」と言いました。エージェントの外部で... ノート

AIエージェントが「完了」と言いました。エージェントの外部でそれを誰が確認するのですか?

AIエージェントにおける一般的な障害モードは、「90% AIエージェント」問題であり、エージェントがタスクを完全に実行していないにもかかわらず完了を報告してしまうことです。これは、空のファイル、不正確な設定、または後続のステップに伝播する微妙なエラーとして現れることがあります。研究によると、AIエージェントの障害の相当な割合が成功として誤って報告されており、単純なチェックが高度なAI評価よりも効果的な場合があります。AIオブザーバビリティツールはこの問題を認識していますが、通常はトレース深度とコスト計算に焦点を当てており、完了主張の独立した検証には焦点を当てていません。提案されている解決策は、完了検証であり、エージェントの報告されたステータスに対する外部チェックとして機能する、明示的で再現可能なレイヤーです。このレイヤーは、エージェント自身の状態とは無関係に、エージェントの完了主張がシステムの実際の状態変更に基づいていることを検証します。エージェントは報告者として信頼できない語り手であるため、より注意深く語るように求めても根本的な問題は解決しないため、これは重要です。検証は、外部の独立したメカニズムから来る必要があります。例を挙げると、再帰キー識別プロセスにおける設計修正が、実装される前に外部レビュアーによって発見されました。開発者の内部的な進捗とは異なるこの外部の視点は、タスク完了のエージェントによる自己評価の欠陥を浮き彫りにしました。エンジニアリングの目標は、このような外部監査を信頼性の高い自動化されたプロセスとして制度化することです。このレイヤーは、実際には完了していないタスクを完了したと報告するエージェントにとって不可欠です。完了検証を意図的なレイヤーとして構築することは、エージェントの自己報告の固有の信頼性の低さを認識することです。これは、エージェントが宣言した結果が現実世界のステータスと一致することを確認するという重要なステップに焦点を当てることで、既存のオブザーバビリティツールを補完します。中心的な原則は、複雑な自己判断よりも、単純で独立したチェックを優先することです。