RSS Microsoft Teams 博客文章 关注 使用 GitHub Actions 对 Microsoft Foundry Agent 进行冒烟测试 本文详细介绍了如何在 CI/CD 流程中为 Foundry Hosted Agents 配置冒烟测试。冒烟测试通过检查代理是否生成响应以及该响应是否与提示词一致,来验证代理的基本功能。这与单元测试和功能测试不同,提供了一种在更耗时的评估之前快速检测部署故障的方法。本文概述了若干关键的冒烟测试场景,包括验证主题相关响应、在状态无状态和状态有状态的对话中保持线程连续性、拒绝离题问题、抵抗幻觉以及处理上下文相关的查询。这些测试定义在一个 JSON 文件中,包含提示词和断言标准,使其可重复执行且易于更新。JSON 结构支持多个测试,每个测试可具有不同的提示词和断言。具体示例展示了主题相关响应的测试、使用 previous_response_id 进行响应链式调用,以及使用 use_conversation 进行基于对话的线程管理。这些场景还涵盖了测试代理在何种情况下应拒绝超出范围的查询,以及在何种情况下应拒绝虚构的前提。最后,本文展示了一个 Python 脚本,用于执行这些已定义的冒烟测试,并利用部署环境的身份验证或 Azure CLI 进行认证。 Smoke Test Microsoft Foundry Agents with GitHub Actions techcommunity.microsoft.com
previous_response_id进行响应链式调用,以及使用use_conversation进行基于对话的线程管理。这些场景还涵盖了测试代理在何种情况下应拒绝超出范围的查询,以及在何种情况下应拒绝虚构的前提。最后,本文展示了一个 Python 脚本,用于执行这些已定义的冒烟测试,并利用部署环境的身份验证或 Azure CLI 进行认证。