实时 AI 代理打破了传统的请求 - 响应负载均衡范式，因为它们依赖长连接、有状态的单向双向流，从而掩盖了真实的服务器容量。为解决这一问题，开发者必须在运行时中直接实现应用级会话跟踪，以准确衡量活跃对话的已提交并发工作负载。通过将精确的会话计数与标准 CPU 利用率指标一同输入混合路由算法，基础设施能够有效分发有状态的 AI 流量，并防止单个后端出现瓶颈。