エージェンティックAIシステムを構築したことがあるなら、私が言っている正確な感覚がわかるはずです。デモでは、エージェントは印象的に見えます。ステップバイステップで推論し、インテリジェントにツールを選択し、複雑なマルチステップタスクを完了します。しかし、ステージングや本番環境に移行した瞬間、予期せぬことが起こり始めます。顧客レコードを余分に取得したり、触ってはいけないデータベースフィールドを更新しようとしたり、機密情報を含むメールを作成したりする可能性があります。私は昨年、セールスオペレーションエージェントプロジェクトを主導している間に、これを直接経験しました。エージェントはCRMデータを照会し、リードをエンリッチし、フォローアップアクションを提案することになっていました。ある日、追加のPIIフィールドにアクセスし、外部メールを送信しそうになったことが判明しました。私たちのシステムプロンプトと内部ガバナンスドキュメントは、それを止めることができませんでした。そのインシデントにより、適切なランタイムコントロールプレーンを構築するためにかなりの時間を投資する必要に迫られました。そしてそれは、その後のプロジェクトにとってゲームチェンジャーとなりました。