Amazon SageMaker AI 推理现已凭借 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU 提供 G7 实例，实现性能提升。这些新实例的 AI 推理性能较上一代 G6 实例最高提升 4.6 倍。此次升级旨在满足生产环境中部署生成式 AI 模型对高 GPU 吞吐量和内存容量的日益增长的需求。此前，用户常因内存限制而不得不超额配置计算资源或对模型进行量化。G7 实例每 GPU 提供 32 GB 显存，并配备第五代 Tensor Core。此外，其网络能力显著提升，支持最高达 700 Gbps 的 EFA 启用网络，速度是 G6 的七倍。这些实例还包含最高 7.6 TB 的本地 NVMe SSD 存储，可快速访问大型模型。这些特性使 G7 实例非常适合部署具有 70 亿至 300 亿参数的模型，以及图像和视频生成任务。用户可通过 SageMaker AI 推理控制台、API 或 SDK 选择 G7 实例类型，从而简化部署流程。G7 实例目前已在美东（北弗吉尼亚、俄亥俄）和美西（俄勒冈）区域可用。