エンタープライズ環境では、長いコンテキストウィンドウを必要とするAIワークロードのために分散アーキテクチャを採用しています。これらがスケールすると、KVキャッシュはローカルCPU RAMおよびSSDの制限を超えます。ローカルSSDをプールすることは容量を提供しますが、データ分散とレプリケーションに複雑さが加わります。代替案として、Google Cloud Managed Lustreのような高性能な外部並列ファイルシステムにアテンション状態をオフロードすることが挙げられます。このアプローチは、ホスト容量の制限を回避し、プールされたドライブに関連するネットワークオーバーヘッドを回避します。Google Cloud Managed Lustreは、大規模言語モデル推論のTCOを削減し、GPU時間要件を低減することが実証されています。このソリューションは、さらなるパフォーマンス向上のためにCPU RAMオフロードで拡張できます。主要なアーキテクチャコンポーネントには、GKE GPUノードと分散キャッシュとして機能するManaged Lustreが含まれます。PVC Evictorは、最も最近使用されていないキャッシュチャンクを削除することでストレージを管理します。デプロイメントには、GKEクラスタの作成、Lustreストレージのプロビジョニング、Lustre統合を備えたvLLMサービングエンジンのデプロイ、そして最後にPVC Evictorのデプロイが含まれます。デプロイメント前に、クォータやIAM権限を含む適切なGoogle Cloudプロジェクト構成が不可欠です。