SageMaker Inference가 이제 Multi-... 노트

SageMaker Inference가 이제 Multi-Instance GPU를 지원하여 모델 엔드포인트의 GPU 활용도를 극대화합니다.

Amazon SageMaker Inference가 이제 NVIDIA Multi-Instance GPU(MIG)를 통한 GPU 파티셔닝을 지원합니다. MIG는 하나의 GPU를 하드웨어적으로 격리된 파티션으로 분할하여 각 파티션에서 다른 모델을 실행하거나 최신 가속기의 적절한 크기의 일부를 사용할 수 있도록 합니다. 이 게시물에서는 두 개의 선택적 API 필드가 파티션당 하나의 모델을 배치하는 방법과 전체 이전 GPU에 대해 측정한 내용을 보여줍니다.
CdXz5zHNQW_3LX7F0Gr5l.png