本指南详细介绍了一种系统性的方法，用于选择最佳加速器并配置 vLLM 以实现高效的大型语言模型（LLM）服务。它强调，没有一种单一的设置适合所有 LLM 推理用例。该过程始于收集有关您特定工作负载的关键信息，包括使用的模型、精度、预期的请求量和序列长度。理解工作负载特性对于确定 VRAM 需求和张量并行化的必要性至关重要。本指南概述了如何估算所需的最低 VRAM，包括模型权重、激活和 KV 缓存。然后，它讨论了 Google Cloud 上提供的各种 GPU 和 TPU 选项，例如 L4、A100、H100 GPU，以及 TPU v5e 和 v6e。张量并行化（将模型分布在多个加速器上）被解释为处理大型模型的一种方法，但它会引入通信开销，从而影响延迟。然后，本指南进入基准测试和调优阶段，使用 auto_tune.sh 脚本来测试不同的配置。该脚本会自动找到最高的稳定 GPU 利用率，并测试各种序列和批处理大小。提供了针对潜在问题的故障排除技巧，例如 CUDA 内存不足错误或分析挂起。目标是通过评估候选加速器的延迟和吞吐量来确定最佳的价格-性能点。最终，本指南使用户能够为具有成本效益且高性能的 LLM 部署做出明智的决策。