필요할 때 GPU를: Flex-start VM 소개 노트

필요할 때 GPU를: Flex-start VM 소개

AI 혁신에는 GPU와 같은 희소한 자원이 필요하며, 이는 동적 워크로드 스케줄러(DWS)와 새로운 기능인 Flex-start VM의 개발로 이어졌습니다. Flex-start VM은 까다로운 작업을 위한 GPU에 대한 공정한 액세스를 우선시하는 독특한 소비 모델을 제공합니다. 모델 미세 조정 및 배치 추론과 같이 시간 제한이 있는 워크로드에 이상적입니다. 주요 이점은 요청이 최대 2시간 동안 대기할 수 있도록 하여 리소스 확보 가능성을 크게 향상시키는 것입니다. 사용자는 표준 온디맨드 요금보다 할인된 비용으로 비용 효율적인 가격 책정의 이점도 누릴 수 있습니다. Flex-start VM은 최대 7일 동안 실행될 수 있으며 선점 가능한 할당량을 활용합니다. 새로운 매개변수인 request-valid-for-duration을 통해 사용자는 VM 요청이 용량을 기다려야 하는 시간을 지정할 수 있습니다. 이는 이전의 "빠른 실패" 접근 방식과 달리 사용 가능한 리소스가 신속하게 거부되었습니다. Flex-start VM은 직접 API 액세스를 제공하여 기존 워크플로 및 스케줄러에 쉽게 통합할 수 있습니다. 사용자는 중지 및 시작 기능을 통해 제어권을 유지하고 구성 가능한 종료 작업을 통해 만료 시 VM 구성을 보존합니다.
CdXz5zHNQW_RH7eODgorB.png