Amazon SageMaker AI 推論は、NVIDIA RTX PRO 4500 Blackwell Server Edition GPU を搭載した G7 インスタンスでパフォーマンスが向上しました。これらの新しいインスタンスは、前世代の G6 インスタンスと比較して、AI 推論パフォーマンスが最大 4.6 倍向上します。この進歩は、生成 AI モデルを本番環境にデプロイするための高い GPU スループットとメモリ容量に対する増大するニーズに対応します。以前は、メモリの制約により、コンピューティングを過剰にプロビジョニングしたり、モデルを量子化したりする必要があることがよくありました。G7 インスタンスは、GPU あたり 32 GB の GPU メモリを提供し、第 5 世代 Tensor Core を搭載しています。また、最大 700 Gbps の EFA 対応ネットワーキングにより、G6 の 7 倍のネットワークパフォーマンスを提供します。さらに、これらのインスタンスには、最大 7.6 TB のローカル NVMe SSD ストレージが含まれており、大規模モデルへの高速アクセスが可能です。これらの機能により、G7 インスタンスは、7B から 30B パラメータのモデル、および画像およびビデオ生成タスクのサービングに最適です。G7 インスタンスタイプを選択することで、SageMaker AI 推論コンソール、API、または SDK を通じてデプロイメントを合理化できます。G7 インスタンスは現在、米国東部（バージニア北部、オハイオ）および米国西部（オレゴン）リージョンで利用可能です。