このガイドでは、最適なアクセラレータの選択と、効率的な大規模言語モデル（LLM）サービングのためのvLLMの設定方法を体系的に解説します。LLM推論のユースケースすべてに単一の最適なセットアップは存在しないことを強調しています。プロセスは、使用するモデル、その精度、予想されるリクエスト量、シーケンス長など、特定のワークロードに関する重要な情報を収集することから始まります。ワークロードの特性を理解することは、VRAM要件とテンソル並列処理の必要性を判断するために不可欠です。ガイドでは、モデルの重み、アクティベーション、KVキャッシュを考慮して、必要な最小VRAMを推定する方法を概説しています。次に、Google Cloudで利用可能なL4、A100、H100 GPU、およびTPU v5eとv6eなどのさまざまなGPUおよびTPUオプションについて説明します。テンソル並列処理は、モデルを複数のアクセラレータに分散させる方法であり、大規模モデルを処理するための手法として説明されていますが、レイテンシに影響を与える通信オーバーヘッドを発生させる可能性があります。その後、ガイドはベンチマークとチューニングに進み、auto_tune.shスクリプトを使用してさまざまな構成をテストします。このスクリプトは、最も高い安定したGPU使用率を自動的に見つけ、さまざまなシーケンスサイズとバッチサイズをテストします。CUDAメモリ不足エラーやプロファイリングのハングなどの潜在的な問題に対するトラブルシューティングのヒントが提供されています。目標は、候補となるアクセラレータ全体でレイテンシとスループットを評価することにより、最適な価格対性能比を特定することです。最終的に、このガイドは、ユーザーがコスト効率が高く高性能なLLMデプロイメントのための情報に基づいた意思決定を行えるようにします。