Агент, созданный в Microsoft Foundry, принимает множество решений за один прогон. Он вызывает модель, выбирает инструмент, считывает результат инструмента и снова вызывает модель. Когда ответ медленный или неправильный, причина кроется где-то в этой последовательности, а окончательный ответ не дает никаких подсказок о том, какой шаг вышел из строя.Foundry записывает эту последовательность как трассировки OpenTelemetry. По умолчанию размещенный агент отправляет их в Application Insights, что является хорошим местом для начала. Для команды, которая ежедневно создает агентов, остаются два пробела. Первый пробел возникает во время разработки. Разработчик, который изменяет подсказку или инструмент, хочет видеть промежутки этого одного прогона в течение нескольких секунд на ноутбуке, без развернутого проекта. Второй пробел возникает после развертывания. Владельцы агентов хотят иметь общую панель мониторинга с количеством прогонов, перцентилями задержки, использованием токенов, задержкой инструмента и ошибками, и они хотят запрашивать необработанные промежутки на том же языке, который они используют для остальных своих данных.