Ray Serve 是一款可扩展的模型服务库，与 Google Kubernetes Engine（GKE）结合，为 LLM 服务提供了强大的平台。历史上，Ray Serve 的灵活性是以性能为代价的。然而，通过与 Anyscale 的合作，Ray Serve 如今实现了显著的性能提升，吞吐量最高提升 5 倍，延迟降低 8 倍。这些进展源于三项关键架构优化：Ray Serve 现已集成 HAProxy，实现高效的请求路由和负载均衡，从而降低代理开销；直接令牌流式传输架构绕过入口路由器处理令牌流，进一步削减延迟；vLLM 的 v2 Ray 执行器后端支持异步调度，统一了代码路径并缩小了性能差距。在配备下一代 AI 硬件的 GKE 上进行的基准测试验证了这些显著的性能提升。增强后的 Ray Serve 能够在并发用户数增加的同时，在保持低延迟的同时扩展吞吐量。GKE 为这些优化提供了必要的底层基础设施，提供自动扩缩容、监控和容错能力。开发人员如今可在 Kubernetes 上实现生产级性能，同时不牺牲 Ray 丰富的功能特性。最新的 Ray 版本（2.56 及更高版本）已纳入这些增强功能，相关资源可供进一步探索。