이 가이드(기여자: Hossein Sarshar, Ashish Narasimham, Chenyang Li)는 사용자가 vLLM을 사용하여 대규모 언어 모델(LLM)을 효율적으로 서비스하는 데 도움을 주는 것을 목표로 합니다. LLM 서비스를 제공하려면 엄격한 지연 시간 및 처리량 요구 사항을 충족해야 하므로 가속기 및 구성 선택이 중요합니다. 이 가이드는 비용 효율성을 위해 최적의 가속기를 선택하고 vLLM 설정을 최적화하기 위한 단계별 접근 방식을 채택합니다. 사전 요구 사항으로는 Google Cloud 프로젝트, gcloud CLI, Linux 및 Docker에 대한 친숙성, Gemma 3 27B 모델에 대한 액세스 권한이 있는 Hugging Face 계정이 있습니다. 가속기 선택 시 고려해야 할 주요 사항은 사용 중인 모델, 정밀도(예: bfloat16), 초당 요청 수 및 시퀀스 길이와 같은 작업 부하 특성, 원하는 GPU 활용도, 접두사 캐시율, 지연 시간 요구 사항입니다. Google Cloud의 가속기 최적화 인스턴스 및 TPU 제품군(예: g2-standard-48, a2-ultragpu-1g, a3-highgpu-1g, TPU v5e, TPU v6e)에서 후보 가속기를 식별합니다. 메모리 요구 사항은 제공된 도구를 사용하여 추정되며, 이 도구는 모델 크기, 정밀도, 시퀀스 길이 및 배치 크기를 기반으로 필요한 최소 VRAM을 계산합니다. Tensor Parallelism은 단일 가속기의 메모리를 초과하는 모델에 필요할 수 있지만, 지연 시간에 영향을 미치는 통신 오버헤드를 발생시킬 수 있습니다. 이 가이드는 인스턴스를 시작하고, vLLM Docker 이미지를 가져오고, 특정 매개변수로 자동 튜닝 스크립트를 업데이트하고, 결과를 분석하여 최적의 구성을 찾음으로써 벤치마킹 및 튜닝에 대해 자세히 설명합니다. 자동 튜닝 스크립트는 메모리 부족(Out-of-Memory) 오류를 방지하기 위해 GPU 활용도를 조정하여 안정적인 vLLM 서버 구성을 반복적으로 찾습니다.