Amazon SageMaker AI 现已在 SageMaker AI Studio 中推出生成式 AI 推理推荐功能。该功能提供低代码、无代码路径，以寻找最优推理配置。它基于此前基于 API 的发布版本，将基准测试基础设施扩展至可视化工作流。在生产环境中有效部署生成式 AI 模型，需要谨慎选择实例类型、服务容器和优化策略。此前，这一过程需要数周的人工操作，且结果不确定。新的 SageMaker 功能允许用户描述其工作负载及优先级，例如延迟、吞吐量或成本。SageMaker AI 随后利用 NVIDIA AIPerf 在 GPU 基础设施上对多种配置进行基准测试，并应用推测解码或内核调优等技术以满足用户目标。该服务返回按优先级排序且已具备生产就绪状态的推荐结果，并附带性能数据，从而为团队节省数周工作时间。用户可在 SageMaker AI Studio 中选择用例配置文件、优化目标及模型来源。推荐结果依据关键性能指标进行排序，并在部署前支持可视化比较。生成推荐不产生额外费用，仅对活跃资源收取标准计算费用。