AI 워크로드가 긴 컨텍스트 창을 요구함에 따라 엔터프라이즈 환경에서 분산 아키텍처를 채택하고 있습니다. 이러한 아키텍처가 확장됨에 따라 KV 캐시는 로컬 CPU RAM 및 SSD 용량을 초과합니다. 로컬 SSD를 풀링하는 것은 용량을 제공하지만 데이터 분산 및 복제에 복잡성을 더합니다. 대안으로, Google Cloud Managed Lustre와 같은 고성능 외부 병렬 파일 시스템으로 어텐션 상태를 오프로드하는 것입니다. 이 접근 방식은 호스트 용량 제한을 우회하고 풀링된 드라이브와 관련된 네트워킹 오버헤드를 피합니다. Google Cloud Managed Lustre는 대규모 언어 모델 추론에 대한 TCO를 절감하고 GPU 시간 요구 사항을 줄이는 것이 입증되었습니다. 이 솔루션은 추가적인 성능 향상을 위해 CPU RAM 오프로드를 통해 확장될 수 있습니다. 주요 아키텍처 구성 요소에는 GKE GPU 노드와 분산 캐시 역할을 하는 Managed Lustre가 포함됩니다. PVC Evictor는 가장 최근에 사용되지 않은 캐시 청크를 제거하여 스토리지를 관리합니다. 배포에는 GKE 클러스터 생성, Lustre 스토리지 프로비저닝, Lustre 통합을 갖춘 vLLM 서빙 엔진 배포, 마지막으로 PVC Evictor 배포가 포함됩니다. 배포 전에 할당량 및 IAM 권한을 포함한 적절한 Google Cloud 프로젝트 구성이 필수적입니다.