Сообщество RSS DEV
Подписаться
Я создал систему памяти для ИИ-агентов, которая действительно забывает
Существующие системы памяти ИИ-агентов страдают от постоянного накопления, что со временем приводит к снижению производительности и точности, поскольку старые факты загрязняют поиск. Эта проблема возникает из-за того, что большее количество токенов напрямую коррелирует с худшими результатами и более медленным, "глупым" агентом. Для решения этой проблемы была разработана recall-sqlite — система памяти, которая активно забывает. Ее основной принцип — многоуровневое хранение, где воспоминания автоматически перемещаются между уровнями в зависимости от частоты их доступа. "Горячий" уровень содержит часто используемые воспоминания, используя ANN и ключевые слова для быстрого поиска. "Теплый" уровень хранит менее используемые воспоминания, полагаясь только на ключевые слова и FTS5 для значительно сниженных вычислительных затрат. "Холодный" уровень может хранить неограниченное количество воспоминаний с нулевыми вычислительными затратами, автоматически повышая их при необходимости. Ключевые решения в дизайне включают отсутствие использования LLM во время запроса, полагаясь исключительно на небольшую локальную модель встраивания. Система избегает традиционных векторных баз данных, используя SQLite с sqlite-vec вместо них. Система поддерживает плавную деградацию, переключаясь на поиск по ключевым словам и FTS5 в автономном режиме. Автоматическая миграция схемы упрощает обновления, а установка осуществляется одной командой pip без API-ключей или Docker. После шести месяцев ежедневного использования с почти 1500 воспоминаниями задержка остается около 80 мс при фиксированном объеме памяти около 1,5 МБ. recall-sqlite теперь интегрирована в экосистему Hermes Agent.
