演讲者探讨了如何将本地 FastAPI 原型中的 AI 代理迁移至基于 Ray 构建的、具备高可用性的 Kubernetes 生产系统。他们分享了关于 RayCluster 拓扑结构、有状态内存管理、动态流量下的自动扩缩容以及稳健控制平面设计的运营经验，同时强调了关键护栏机制、多区域部署架构以及 LLM-as-a-judge 评估流水线。作者：Deepak Mohanakumar Chandramouli、Bhumik Vinodkumar Thakkar