InfoQ 中文
关注
播客:在 Kubernetes 上通过 llm-d、Wasm 和 TornadoVM 实现分布式 LLM 推理
在本期节目中,Edoardo Vacchi 探讨了 WebAssembly 在后端的发展格局,利用 TornadoVM 在 GPU 上运行 Java 工作负载,以及使用 llm-d 和 vLLM 在 Kubernetes 上优化分布式 AI 推理。Edoardo 解释了 llm-d 如何管理缓存局部性(KV 缓存和前缀缓存)、请求路由以及在 Kubernetes 集群间进行批处理推理,以最大化昂贵 GPU 资源的利用率。作者:Edoardo Vacchi