不正なAIエージェントの防止

この記事は、「ローグエージェント」という重要な問題について論じています。これは、AIエージェントが外部からの攻撃ではなく、内部の誤動作によって意図した行動から逸脱する現象です。この逸脱は、モデルのドリフト、フレームワークのバグ、APIの侵害、または設定変更などから生じる可能性があります。Biotrackrのような健康データアシスタントにとって、このようなローグ行動は、法外なコスト、有害な健康分析、または情報漏洩によるセキュリティ侵害につながる可能性があります。著者は、このような障害の影響を最小限に抑えるために、封じ込めを考慮した設計の重要性を強調しています。 ローグエージェントの概念は、プロンプトインジェクションとは異なります。なぜなら、その原因が敵対的であるとは限らないからです。Biotrackrの著者は、これが小規模なプロジェクトであっても重要である理由を説明し、制御不能なツールの使用、誤った健康アドバイス、機密性の高いシステム詳細の漏洩などの潜在的な結果を強調しています。エージェントがまだ機能しているように見える可能性があるため、これらの逸脱を検出することは困難です。 これに対処するために、この記事では、堅牢なガバナンスとロギングから始まる予防と緩和戦略を概説しています。これには、すべてのエージェントのアクション、ツール呼び出し、およびエージェント間の通信に関する包括的で不変かつ署名付きの監査ログの維持が含まれます。Biotrackrは、アプリケーションレベルの会話の永続性、インフラストラクチャレベルのOpenTelemetry、およびCosmos DB診断を含む多層ロギングを採用しています。メッセージレベルのプロビナンス、分散トレーシング、およびIDバインディングは、フォレンジック再構築に不可欠です。 しかし、Biotrackrの現在のロギングは、真の否認防止のための不変性と署名が欠けており、理想的には追記専用ストレージが必要となります。マルチエージェントシステムの場合、エージェント間の通信のロギングも不可欠です。次に、この記事は分離と境界に移り、エージェントがローグ状態になった場合に損害を封じ込めなければならないことを強調しています。 Biotrackrは、コンテナサンドボックスによる分離、APIMによるネットワーク境界、最小権限のID、および制限された一連の読み取り専用ツールを通じて分離を実装しています。エージェントの全機能セットは、12個の読み取り専用HTTP GET操作で構成されており、書き込みツール、Webブラウジング、コード実行、エージェント作成、およびファイルシステムへのアクセスは意図的に除外されています。エージェントの機能を意図的に制限することは、重要な封じ込め対策です。