Amazon SageMaker HyperPod Inference Gateway는 Amazon EKS를 위한 Kubernetes 네이티브, GPU 인식 라우팅 애드온입니다. 실시간 GPU 신호를 사용하여 각 추론 요청을 가장 적합한 파드로 전송하여 모델 서버나 클라이언트 애플리케이션 변경 없이 첫 번째 토큰 지연 시간을 최대 82%까지 단축합니다.