Я создал инструмент для тестирования AI-агентов

Автор представляет AI Agent Tester — проект с открытым исходным кодом, предназначенный для автоматизации проверки ответов моделей ИИ. Ручное тестирование промптов неэффективно, что послужило причиной создания этого инструмента. Он считывает промпты из CSV-файла, отправляет их модели ИИ и проверяет ответы на наличие определенных ключевых слов. Тестер использует стемминг через NLTK для выявления вариаций ожидаемых слов, повышая точность проверки. Генерируется отчет в формате JSON, подробно описывающий успешность или провал каждого промпта, а также полный ответ ИИ. Инструмент создан на Python, что обеспечивает простоту использования и минимальную настройку. Включена поддержка автоматического прокси для использования в корпоративных средах. Этот проект предназначен для разработчиков и инженеров по обеспечению качества, которые интегрируют большие языковые модели. Автор приветствует отзывы и предложения по вкладу в проект с открытым исходным кодом, размещенный на GitHub.