延迟是部署语言模型和人工智能到生产环境时的关键挑战。忽视计算性能而仅关注精度是一个错误。速度（以每秒 token 数衡量）已成为一项关键的架构指标。这是因为关键型应用需要快速响应，尤其是在金融和医疗领域。优化模型性能还能降低 GPU 利用率，从而减少云账单支出。诸如采用轻量级架构、量化以及批处理等技术，可在不牺牲精度的前提下提升速度。本文提供了一个 Python 实用示例，用于测量模型的每秒 token 速度。约每秒 100 token 是一个衡量实时人机交互的良好基准。优化步骤包括建立初始基准、实施批处理，并评估蒸馏模型或量化模型。社区共享用于 AI 模型性能分析和基准测试的工具与库。