このガイドは、Hossein Sarshar、Ashish Narasimham、Chenyang Li の寄稿者とともに、vLLM を使用して大規模言語モデル (LLM) を効率的に提供することをユーザーが支援することを目的としています。LLM の提供には、厳格なレイテンシおよびスループット要件を満たす必要があり、アクセラレータと構成の選択が重要になります。このガイドでは、最適なアクセラレータを選択し、コスト効率のために vLLM 設定を最適化するためのボトムアップアプローチを採用しています。前提条件には、Google Cloud プロジェクト、gcloud CLI、Linux および Docker の習熟、および Gemma 3 27B モデルへのアクセス権を持つ Hugging Face アカウントが含まれます。アクセラレータを選択する際の主な考慮事項には、使用されるモデル、その精度 (例: bfloat16)、秒あたりのリクエスト数やシーケンス長などのワークロード特性、目的の GPU 使用率、プレフィックスキャッシュ率、およびレイテンシ要件が含まれます。候補となるアクセラレータは、Google Cloud のアクセラレータ最適化インスタンスおよび TPU オファリング (例: g2-standard-48、a2-ultragpu-1g、a3-highgpu-1g、TPU v5e、TPU v6e) から特定されます。メモリ要件は、提供されるツールを使用して推定され、モデルサイズ、精度、シーケンス長、およびバッチサイズに基づいて必要な最小 VRAM を計算します。Tensor Parallelism は、単一のアクセラレータのメモリを超えるモデルに必要な場合がありますが、レイテンシに影響を与える通信オーバーヘッドを導入する可能性があります。このガイドでは、インスタンスの起動、vLLM Docker イメージのプル、自動チューニングスクリプトを特定のパラメーターで更新し、結果を分析して最適な構成を見つけることで、ベンチマークとチューニングの詳細を説明します。自動チューニングスクリプトは、GPU 使用率を調整してメモリ不足エラーを防ぐことで、安定した vLLM サーバー構成を繰り返し見つけます。