실시간 AI 에이전트는 장기적이고 상태를 유지하는 양방향 스트림에 의존하여 실제 서버 용량을 파악하기 어렵게 만들기 때문에 기존의 요청-응답 로드 밸런싱 패러다임을 벗어납니다. 이를 해결하기 위해 개발자는 런타임 내부에 직접 애플리케이션 레벨 세션 추적을 구현하여 활성 대화의 커밋된 동시 워크로드를 정확하게 측정해야 합니다. 이러한 정확한 세션 수를 표준 CPU 사용률 메트릭과 함께 하이브리드 라우팅 알고리즘에 제공함으로써, 인프라는 상태를 유지하는 AI 트래픽을 효과적으로 분산하고 개별 백엔드 병목 현상을 방지할 수 있습니다.