Unsloth を使用した Amazon SageMaker... ノート

Unsloth を使用した Amazon SageMaker AI への量子化モデルのデプロイ

この記事では、Unslothで既に量子化されたモデルをAWSインフラストラクチャにデプロイするための4つのデプロイメントパターンについて学びます。これらのパターンでは、Amazon Elastic Compute Cloud (Amazon EC2) をインスタンスへの直接アクセスに、Amazon SageMaker AI 推論エンドポイントをマネージドサービングに、そして推論を既存のコンテナフレームワークに適合させる必要がある場合はAmazon Elastic Kubernetes Service (Amazon EKS) または Amazon Elastic Container Service (Amazon ECS) を使用します。また、本番環境へのデプロイメントのための運用プラクティスについても学びます。