AWS Machine Learning Blog 中文 关注 SageMaker Inference 现已支持多实例 GPU,以最大化模型端点的 GPU 利用率。 Amazon SageMaker 推理现已支持使用 NVIDIA 多实例 GPU(MIG)进行 GPU 分区,该技术可将单个 GPU 划分为硬件隔离的分区,使您能够在每个分区中运行不同的模型,或占用新一代加速器的合适比例。本文展示了如何通过两个可选的 API 字段实现每个分区部署一个模型,并对比了与整个旧版 GPU 的实测结果。 SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints aws.amazon.com AWS Machine Learning Blog 中文 RSS thenote.app