在 Amazon SageMaker AI 上使用 Unsloth 部署量化模型
在本文中,您将学习四种部署模式,用于将已使用 Unsloth 进行量化的模型部署到 AWS 基础设施上。这些模式利用 Amazon Elastic Compute Cloud(Amazon EC2)实现直接实例访问,利用 Amazon SageMaker AI 推理端点进行托管式服务,并在推理需求需适配现有容器框架时,采用 Amazon Elastic Kubernetes Service(Amazon EKS)或 Amazon Elastic Container Service(Amazon ECS)。此外,您还将了解生产环境部署的运营实践。