프로덕션에서 살아남는 툴 호출 AI 에이전트 설계: L... 노트

프로덕션에서 살아남는 툴 호출 AI 에이전트 설계: LangGraph 접근 방식

대부분의 에이전트 데모는 무대 위에서는 아름답게 작동하지만, 실제 운영 첫 주에 무너집니다. 그 이유는 거의 항상 같습니다. 데모는 도구 호출을 순조로운 경로로 취급하지만, 실제 운영은 예외적인 경우들로 가득합니다. 도구가 시간 초과됩니다. 모델이 인수를 환각합니다.에이전트가 자체적으로 루프에 빠져 토큰 예산을 소진합니다. 이러한 시스템을 몇 개 출시한 후, 저는 내구성이 뛰어난 설계 질문은 "에이전트가 도구를 호출할 수 있는가"가 아니라 "도구 호출이 잘못되었을 때 무슨 일이 일어나는가"라는 것을 배웠습니다.