Amazon SageMaker HyperPod Inference Gateway は、Amazon EKS 向けの Kubernetesネイティブで GPU を認識するルーティングアドオンです。リアルタイムの GPU シグナルを使用して、各推論リクエストを最も適したポッドに送信し、モデルサーバーやクライアントアプリケーションを変更することなく、ファーストトークンレイテンシを最大 82% 削減します。