Amazon SageMaker AI は、SageMaker AI Studio で生成 AI 推論レコメンデーションを提供するようになりました。これにより、最適な推論構成を見つけるためのローコード、ノーコードのパスが提供されます。これは、以前の API ベースのローンチを基盤とし、ベンチマークインフラストラクチャをビジュアルワークフローに拡張したものです。生成 AI モデルを生産的にデプロイするには、インスタンスタイプ、サービングコンテナ、および最適化戦略の慎重な選択が必要です。以前は、このプロセスには不確実な結果を伴う数週間の手作業が必要でした。新しい SageMaker 機能により、ユーザーはレイテンシ、スループット、またはコストのようなワークロードと優先順位を説明できます。SageMaker AI は、NVIDIA AIPerf を使用して GPU インフラストラクチャ上でさまざまな構成をベンチマークします。ユーザーの目標を達成するために、投機的デコーディングやカーネルチューニングなどのテクニックを適用します。このサービスは、パフォーマンスデータとともにランク付けされた、本番環境に対応したレコメンデーションを返します。これにより、チームは数週間の作業時間を節約できます。ユーザーは、SageMaker AI Studio 内でユースケースプロファイル、最適化目標、およびモデルソースを選択できます。レコメンデーションは主要なパフォーマンスメトリックによってランク付けされ、デプロイ前に視覚的に比較できます。レコメンデーションの生成に追加料金はかかりません。アクティブなリソースに対する標準的なコンピューティング料金のみが発生します。