Когда агент ИИ должен останови... Заметка
DEV Community на русском

Когда агент ИИ должен остановиться?

В статье предлагается контроллер выполнения, учитывающий прогресс, для агентных систем, чтобы устранить неэффективность произвольных ограничений действий. Утверждается, что простое установление максимального количества шагов для агента не гарантирует выполнение задачи и не предотвращает растрату ресурсов. Вместо этого для остановки выполнения требуется более интеллектуальный процесс принятия решений на уровне системы. Предлагаемая архитектура отделяет агента от контроллера, который управляет действиями и оценивает прогресс.Этот контроллер отслеживает три ключевых сигнала: завершение задачи с доказательствами, фактический прогресс для выявления стагнации и оставшийся бюджет. Например, три поиска, дающие одни и те же источники без удовлетворения новых требований, будут сигнализировать о стагнации. Затем контроллер решит, завершить, продолжить, перепланировать или остановить незавершенное. Эта политика, основанная на правилах, будет иметь различные результаты для каждого сценария.Важно, чтобы состояние контроллера, включая выполненные требования и бюджет, было долговечным для обработки перезапусков. Для MVP предлагается небольшой агентский рантайм с PostgreSQL для записей и детерминированными проверками политики. Эффективность этого подхода будет протестирована путем сравнения его с политиками с фиксированным лимитом и учетом стагнации.Для оценки будут использоваться такие метрики, как подтвержденный успех задачи, стоимость успешной задачи, задержка и преждевременные остановки. Цель состоит в том, чтобы сэкономить на ненужной работе, не ставя под угрозу надежность агента. В конечном итоге, следующим шагом для агентных систем является создание окружающих систем, которые интеллектуально решают, когда дополнительная работа полезна. Эта архитектура призвана обеспечить более обдуманное и эффективное поведение агента, даже если это означает делать меньше.
CdXz5zHNQW_qPGfxFSYQb.webp