LLM(대규모 언어 모델) 애플리케이션은 기존의 애플리케이션 프로그래밍 인터페이스(API)처럼 실패하지 않습니다. 부하가 걸린 웹 API는 일반적으로 예측 가능한 방식으로 성능이 저하됩니다. 지연 시간이 증가하고, 오류율이 급증하며, 대시보드에는 명확한 용량 한계가 표시됩니다. 에이전트 시스템은 다릅니다. 부분적인 컨텍스트, 잘린 도구 결과 또는 에이전트가 그럴듯한 내러티브로 가리는 시간 초과를 기반으로 자신감 있는 답변을 반환하며 조용히 실패합니다. 관리되는 분석에서 신뢰성은 단순한 성능 지표가 아닌 정책 요구 사항입니다.많은 팀은 단순하고 익숙하기 때문에 초당 정적 요청 제한으로 시작합니다. 그러나 도구 호출 작업 부하는 버스트성이 높고, 여러 단계로 이루어지며, 데이터 웨어하우스, 벡터 저장소, 메타데이터 카탈로그와 같은 비용이 많이 드는 다운스트림 시스템과 연결되어 있습니다. 단일 사용자 질문이 스키마 조회, 의미 계층 해결, SQL 컴파일, 쿼리 실행, 계보 확인 및 정책 유효성 검사와 같은 수십 개의 도구 호출로 확산될 수 있습니다. 실제 사용 환경에서 정적 제한은 정당한 작업을 차단하거나, 시끄러운 이웃 에이전트가 다른 모든 사람을 굶어 죽게 만들 수 있습니다. 특히 에이전트가 공격적으로 재시도하거나 루프에 들어갈 때 더욱 그렇습니다.