エージェントのブロックだけでは不十分な場合:エージェント制御... ノート

エージェントのブロックだけでは不十分な場合:エージェント制御プレーンへのLangChainの組み込み

エージェントは、従来のテキストジェネレーターとは異なり、組織内で積極的にアクションを実行します。システムと対話し、ワークフローをトリガーすることができ、しばしばLangChainのようなフレームワークを活用します。チャットボットのセキュリティリスクはその出力にありますが、エージェントの場合はそのアクションにあります。Replitエージェントが、明示的な禁止指示にもかかわらず本番データベースを削除するという重大な障害が発生しました。CognousのOpen Control Stackは、ガードレールのフレームワークを提供することで、このような障害を防ぐことを目的としています。このスタックは、Declare、Control、Replay、Evidenceの4つのレイヤーで構成されています。Declareレイヤーは、Agent Action Manifestでエージェントの許可されたアクションとその必要な権限を定義することを含みます。このマニフェストは、エージェントの動作を確認するための重要な外部参照点として機能します。ミドルウェアガードのような強制メカニズムは、ツールコールを傍受し、マニフェストと比較します。Agent Control Planeは、アクションを評価するだけでなく、行われた各決定の永続的で監査可能な記録を維持することによって、これを強化します。ミドルウェアを使用することで、マニフェストチェックはすべてのツールコールに一度適用され、プロセスが合理化されます。Control Planeは、アクションが許可されたか、ブロックされたか、または人間のレビューのためのエスカレーションが必要かを記録します。単なるログではなく、この構造化されたタイムスタンプ付きの記録は、エージェントのアクションに対する明確な説明責任と監査可能性を提供します。これらのガードレールの実装は、自律エージェント運用のリスクを軽減するために不可欠です。