Сообщество RSS DEV
Подписаться
Храните отклонённые варианты в журнале решений агента
Журнал активности показывает, что сделал агент, но журнал решений должен также фиксировать, что было рассмотрено и отклонено. Без отклоненных вариантов рецензенты видят упрощенный путь, который не отражает реальный процесс принятия решений. Это упущение подрывает доверие и возможность восстановления, поскольку затрудняет оспаривание решения без реконструкции всей сессии. История выполнения, хотя и ценна, отличается от контекста принятия решений.Предлагаемая запись решения отделяет выбор от выполнения, включая поле "revisit_when" для отклоненных вариантов. Это указывает на то, что отклоненный вариант может быть подходящим при других обстоятельствах. Интерфейс должен использовать прогрессивное раскрытие, предоставляя слои информации от общего обзора до конкретных деталей. Когда выполнение терпит неудачу, решение и результаты выполнения должны храниться отдельно, чтобы избежать предположения, что выбранное действие увенчалось успехом.Сопутствующий валидатор может обеспечить полноту журнала решений, проверяя контекст, доказательства, отклоненные варианты с причинами и условиями пересмотра, а также детали выполнения. Эта валидация выявляет упущения, предоставляя стабильную основу для инструментов обзора. Прежде чем сделать этот шаблон стандартным, рекомендуется провести исследование с участием операторов, просматривающих работу агента с различными форматами журналов.Это исследование должно измерять точность объяснений, время восстановления и полезность подробной информации. Отклоненные варианты имеют решающее значение для понимания границ принятия решений, предоставляя контрфактический контекст, необходимый для постановки вопросов, исправления и обучения на основе следов агента. Эти предложения направлены на повышение прозрачности и аудируемости решений ИИ-агентов.