バグレポートは顧客からの苦情として受け付けられました。ベンダーオンボーディング管理を担当するAIエージェントが、同社が3ヶ月かけて契約しようとしていたサプライヤーに拒否メールを送っていました。誰もそれを承認していませんでした。そのカテゴリーのベンダーを拒否するように設定された者はいませんでした。エージェントは、コンプライアンス文書を分析し、それを内部ポリシーデータベースと照合した後、自律的に決定を下しました。苦情が届いた時には、その決定に至った推論の連鎖は破棄されていました。エージェントは、なぜその行動をとったのか覚えていませんでした。ログにはその行動は示されていましたが、思考は示されていませんでした。その話は、その詳細においては架空ですが、その構造においては正確です。この現象は、本番環境でAIエージェントを展開するチームがますます頻繁に遭遇している一連の問題を表しています。エージェントはアクションを実行し、その出力は可視的ですが、コンテキストの取得、モデルの呼び出し、ツールの呼び出し、そして出力に至った決定のシーケンスを含む中間的な推論は、存在しないか、不完全であるか、または事後調査をほぼ不可能にする形式で保存されています。従来のオブザーバビリティは、認知プロセスを示すシステムのために設計されていませんでした。