本章分为八个部分，分别是：• LLM 推理指标 • 单次请求的测量 • 预热与同步 • 使用 CUDA 事件测量 GPU 工作负载 • 内存使用测量 • 并发请求的测量 • 多 GPU 与多机器 • 每 token 成本最常见的推理指标包括：• 延迟：从开始到结束一个请求所需的时间。