로컬에서 완벽하게 작동하는 에이전트 워크플로우는 종종 심각한 엔지니어링 격차로 인해 프로덕션에서 실패합니다. 이러한 실패는 내재된 복잡성 때문이 아니라 메모리 누수, 평가 맹목성, 도구의 취약성에서 비롯됩니다. LLM은 상태 비저장(stateless)이므로 컨텍스트 창 제한과 세션 메모리가 프로덕션에서 상당한 장애물이 됩니다. 단순한 프롬프트 누적은 컨텍스트 창을 압도하여 지연 시간 증가, 비용 증가, 추론 품질 저하를 초래합니다.프로덕션 에이전트는 단기 버퍼, 중기 벡터 임베딩, 장기 구조화된 데이터를 포함하는 하이브리드 메모리 시스템을 필요로 합니다. 전통적인 단위 테스트는 LLM에 충분하지 않으며, 프로덕션에는 LLM-as-a-judge 평가와 회귀 테스트를 위한 골든 데이터셋이 필요합니다. 도구의 취약성은 처리되지 않은 API 오류, 네트워크 문제, 스키마 변경으로 인해 발생하며, 강력한 재시도 메커니즘과 서킷 브레이커가 필요합니다.도구 오케스트레이션에는 재시도를 위한 지수 백오프, 외부 종속성을 위한 서킷 브레이커, 오류 방지를 위한 스키마 유효성 검사가 포함되어야 합니다. 추적 수준 로깅, 비용 추적, 인간 루프 탈출 해치를 통한 효과적인 관찰 가능성이 중요합니다. 이러한 격차를 해소하면 프롬프트 엔지니어링에서 에이전트 시스템 엔지니어링으로 초점이 전환되며, 메모리 관리, 테스트, 도구, 관찰 가능성 측면에서 규율이 요구됩니다. 프로덕션 준비는 이러한 패턴을 구현하고 모든 도구 호출에 대한 폴백 메커니즘과 보안 감사를 설정하는 것을 포함합니다.