このブログ記事では、CI/CDパイプラインの一部としてFoundryホストエージェントの単体テストを設定する方法を詳しく説明します。単体テストは、エージェントが応答を生成するかどうか、およびその応答がプロンプトと一致するかどうかを確認することで、基本的なエージェントの機能を検証します。これは単体テストや機能テストとは異なり、時間のかかる評価の前にデプロイメントの失敗を検出する迅速な方法を提供します。この記事では、トピックに沿った応答の検証、ステートレスおよびステートフルな会話の両方でのスレッドの継続性の維持、トピック外の質問の拒否、幻覚の抵抗、コンテキスト依存のクエリの処理など、いくつかの重要な単体テストシナリオの概要を説明します。これらのテストは、プロンプトとアサーション基準を含むJSONファイルで定義されており、繰り返し可能で簡単に更新できます。JSON構造により、さまざまなプロンプトとアサーションを持つ複数のテストが可能になります。特定の例では、トピックに沿った応答のテスト、previous_response_idを使用した応答の連鎖、およびuse_conversationを使用した会話ベースのスレッディングを示しています。シナリオでは、エージェントが範囲外のクエリを拒否すべき場合や、偽造された前提を拒否すべき場合もカバーしています。最後に、これらの定義された単体テストを実行するためのPythonスクリプトが提示されており、デプロイメント環境またはAzure CLIからの認証を利用します。