企业环境正在采用分布式架构以支持需要长上下文窗口的 AI 工作负载。随着这些系统扩展，KV 缓存将超出本地 CPU 内存和 SSD 的限制。虽然池化本地 SSD 可提供容量，但会增加数据分布和复制的复杂性。另一种选择是将注意力状态卸载到高性能外部并行文件系统，例如 Google Cloud Managed Lustre。这种方法可绕过主机容量限制，并避免池化驱动器相关的网络开销。Google Cloud Managed Lustre 已被证明可节省总拥有成本（TCO），并降低大型语言模型推理所需的 GPU 小时数。该解决方案可通过 CPU 内存卸载进行扩展，以进一步提升性能。关键架构组件包括 GKE GPU 节点和作为去中心化缓存的 Managed Lustre。部署涉及创建 GKE 集群、配置 Lustre 存储、部署集成 Lustre 的 vLLM 服务引擎，最后部署 PVC Evictor。在部署之前，必须正确配置 Google Cloud 项目，包括配额和 IAM 权限。