宣布在 SageMaker AI Inference 上扩展... 笔记

宣布在 SageMaker AI Inference 上扩展 G6 实例的区域支持

Amazon EC2 G6 实例现已在 AWS GovCloud(美东)区域推出,专为 Amazon SageMaker AI 推理服务提供支持。这些实例采用 NVIDIA L4 Tensor Core GPU,每块配备 24 GB 显存,并搭载 AMD EPYC 处理器。G6 实例可显著提升深度学习推理性能,其性能最高可达 G4dn 实例的两倍。此次扩展使 GovCloud 中的政府机构能够为生成式 AI 部署推理端点,相关工作负载包括语言模型、图像生成和计算机视觉任务。此类部署将严格遵守合规性及数据驻留规定。G6 实例在 24 GB GPU 显存范围内为生产级推理需求提供了卓越的价格性能比。除其他区域外,G6 实例现已在 AWS GovCloud(美东)区域可用。有兴趣的用户可在 AWS 定价页面获取详细价格信息。此次可用性提升了政府实体的 AI 能力。