Модели машинного обучения со временем деградируют без оценки, что является проблемой, часто упускаемой из виду для разговорных агентов данных. Genie Ontology, в частности через Genie Agent Benchmarks, решает эту проблему путем непрерывной оценки и улучшения агентов. Бенчмарки включают изолированные диалоги, каждый из которых оценивается в одном из двух режимов в зависимости от типа вопроса. Режим чата сравнивает сгенерированный агентом SQL или его результат с "эталонным" ответом, с объективными правилами для "хороших" и "плохих" результатов. Режим агента предназначен для многошаговых отчетов с текстовым обоснованием, где судья LLM оценивает ответ на основе необязательной заметки об оценке. Ключевой особенностью дизайна является способность режима чата вознаграждать допустимые вариации, одновременно отмечая структурные ошибки, что способствует доверию к бенчмарку. Лучшая практика рекомендует регистрировать две-четыре вариации формулировок для каждого бизнес-вопроса, чтобы обеспечить всестороннее тестирование. После запуска бенчмарка Genie Code анализирует результаты, предлагая корректировки инструкций или контекста для устранения выявленных пробелов. Этот "пакетный обзор" также применяется к реальным данным использования, позволяя проактивно решать проблемы. Однако человеческий обзор имеет решающее значение, поскольку отзывы пользователей не изменяют автоматически поведение агента. Качество эталонного SQL также критически важно, и инструмент не хранит внутренне долгосрочные тенденции точности. Инвестирование в бенчмарки с первого дня необходимо для эффективной проверки изменений и обеспечения постоянной надежности агента.