DEV Community на русском
Подписаться
Почему у вашего ИИ-агента нет проблемы с рассуждением — у него проблема с памятью: практическое руководство по состоянию агента производственного уровня
Статья утверждает, что современные ИИ-агенты терпят неудачу не из-за ограничений в рассуждениях, а из-за отсутствия эффективной памяти. Бенчмарки часто тестируют безстатусные рассуждения, в то время как реальные агенты работают в течение нескольких ходов и используют множество источников информации. Простое добавление большего контекста в запрос непомерно дорого и неэффективно из-за ограничений токенов и размывания внимания.Истинное состояние агента представляет собой совокупность четырех уровней: рабочая память для текущей сессии, семантическая память для общих знаний, процедурная память для навыков и память источников для происхождения. Производственная архитектура включает четыре уровня памяти: быстрый буфер контекста для немедленного взаимодействия, индекс поиска для быстрого извлечения семантической и процедурной информации, слой сохранения для долговременного хранения с управлением жизненным циклом и механизм забывания для удаления устаревших данных.Цикл памяти агента начинается с ввода пользователя, за которым следует запрос к индексу поиска для получения релевантных воспоминаний. Затем контекст формируется путем сборки рабочей памяти, извлеченных воспоминаний и другой релевантной информации. LLM вызывается с этим составным контекстом, что приводит к выполнению действия. Наконец, воспоминания обновляются, и для пользователя генерируется ответ.Ключом к успеху является структурированная сборка контекста, приоритизация системного запроса, текущих целей и извлеченных фактов. Скользящее резюме сжимает исторические данные разговора для управления размером окна контекста. Во время обновления памяти извлекаются и сохраняются новые факты, а устаревшие воспоминания управляются путем уплотнения и истечения срока действия. Статья подчеркивает, что надежные системы памяти имеют решающее значение для создания надежных ИИ-агентов, которые могут работать с реальными пользователями и сессиями.