在 Kubernetes 上运行大型语言模型的格局已发生显著演变，许多此前未解决的难题如今都有了资金充足的解决方案和成熟的参与者。诸如 KV 缓存感知路由、预填充/解码解耦、GPU 碎片化共享以及 GPU 调度原语等领域已趋于饱和。这些领域由多种项目和商业产品覆盖，使得在这些方向上的新进入者面临的是竞争而非开创性的局面。然而，仍有三个截然不同的领域真正未被充分服务，为新开发提供了机遇。第一个是建立模型权重分发作为 Kubernetes 的一等公民原语，类似于容器镜像的处理方式。当前针对大型模型权重的临时下载方法，是导致长冷启动的主要原因，阻碍了高效的按需弹性伸缩部署。一种提议的解决方案涉及针对模型工件的自定义资源定义（CRD）及缓存机制，并配备节点级的内容验证与点对点预热机制。第二个未被充分服务的领域是考虑请求异构性的 SLO 驱动推理自动伸缩。虽然现有的 SLO 感知自动伸缩已存在，但仍需一种更为精细的方法，以根据请求的紧急程度和延迟容忍度对其进行区分。这可能涉及针对每类请求的延迟预算分配及准入控制机制。第三个缺口在于管理多个租户专属 LoRA 适配器的生命周期。尽管运行时加载适配器已得到支持，但诸如生命周期管理、缓存驱逐以及显存预算分配等关键方面仍主要依赖人工操作。亟需一种基于 CRD 的解决方案来管理 LoRA 适配器及其部署位置与路由。建议将聚焦于模型权重分发的“想法一”作为开源操作符项目的首选方向，因其侧重于基础设施且无需大规模 GPU 资源即可验证可行性。而关注精细粒度 SLO 自动伸缩的“想法二”，则更适合以严谨基准测试为导向的研究型贡献。至于针对 LoRA 适配器生命周期管理的“想法三”，则介于两者之间，提供了一个折中方案。值得注意的是，上述领域并非完全无人涉足，新的努力将建立在现有先有技术的基础之上。