Тестирование Microsoft Foundry... Заметка

Тестирование Microsoft Foundry Agents с помощью GitHub Actions

В этой статье подробно описывается настройка дымовых тестов для размещенных агентов Foundry в рамках конвейера CI/CD. Дымовые тесты проверяют базовую функциональность агента, определяя, генерирует ли он ответ и соответствует ли этот ответ запросу. Это отличается от модульных и функциональных тестов, предоставляя быстрый способ обнаружить сбои развертывания до проведения более длительных оценок. В статье изложены несколько основных сценариев дымовых тестов, включая проверку ответов по теме, поддержание непрерывности диалога как в безстатусных, так и в статусных беседах, отказ от вопросов не по теме, противодействие галлюцинациям и обработку запросов, зависящих от контекста. Эти тесты определяются в файле JSON с запросами и критериями утверждения, что делает их повторяемыми и легко обновляемыми. Структура JSON позволяет создавать несколько тестов с различными запросами и утверждениями. Конкретные примеры демонстрируют тестирование ответов по теме, цепочку ответов с использованием previous_response_id и потоковую передачу на основе разговора с использованием use_conversation. Сценарии также охватывают тестирование, когда агент должен отклонять запросы вне сферы действия и когда он должен отклонять вымышленные предпосылки. Наконец, представлен скрипт Python для выполнения этих определенных дымовых тестов с использованием аутентификации из среды развертывания или Azure CLI.