이 글은 현재 AI 에이전트가 추론 능력 부족 때문이 아니라 효과적인 메모리 부족 때문에 실패한다고 주장한다. 벤치마크는 종종 상태 없는 추론을 테스트하지만, 실제 에이전트는 여러 턴과 정보 소스에 걸쳐 작동한다. 토큰 제한과 어텐션 희석으로 인해 프롬프트에 단순히 더 많은 컨텍스트를 추가하는 것은 비용이 많이 들고 비효율적이다.진정한 에이전트 상태는 네 가지 계층의 복합체이다: 현재 세션을 위한 작업 메모리, 일반 지식을 위한 의미 메모리, 기술을 위한 절차 메모리, 출처를 위한 소스 메모리. 프로덕션 등급 아키텍처는 네 가지 계층의 메모리를 포함한다: 즉각적인 상호 작용을 위한 빠른 컨텍스트 버퍼, 의미 및 절차 정보를 빠르게 회상하기 위한 검색 인덱스, 수명 주기 관리를 통한 장기 저장을 위한 지속성 계층, 오래된 데이터를 제거하기 위한 망각 메커니즘.에이전트 메모리 루프는 사용자 입력으로 시작하여, 관련 메모리를 검색하기 위해 검색 인덱스를 쿼리한다. 그런 다음, 작업 메모리, 검색된 메모리 및 기타 관련 정보를 조립하여 컨텍스트를 구성한다. 이 구성된 컨텍스트로 LLM이 호출되어 액션 실행으로 이어진다. 마지막으로, 메모리가 업데이트되고 사용자에게 응답이 생성된다.성공의 핵심은 시스템 프롬프트, 현재 목표 및 검색된 사실을 우선시하는 컨텍스트의 구조화된 조립이다. 롤링 요약은 컨텍스트 창 크기를 관리하기 위해 과거 대화 데이터를 압축한다. 메모리 업데이트 중에 새로운 사실이 추출 및 지속되고, 오래된 메모리는 압축 및 만료를 통해 관리된다. 이 글은 실제 사용자 및 세션을 처리할 수 있는 신뢰할 수 있는 AI 에이전트를 구축하는 데 강력한 메모리 시스템이 중요하다고 강조한다.