GKE에서 NVIDIA NIM 마이크로서비스를 통해 최적화된 AI 모델을 효율적으로 제공

구글 클라우드와 NVIDIA는 구글 쿠버네티스 엔진(GKE)에서 NVIDIA NIM의 가용성을 발표했습니다. 이는 사용자가 GKE 콘솔에서 직접 NIM 마이크로 서비스를 배포할 수 있도록 허용합니다. 이 통합은 AI 모델 추론을 최적화하여 GKE의 규모와 운영 효율성을 제공하는 최적의 지연 시간과 처리량을 제공합니다. NVIDIA NIM 컨테이너화된 마이크로 서비스는 일반적인 AI 모델에 대한 배포를 최적화하여 생성 AI 애플리케이션 및 워크플로우에 대한 무결한 통합을 위한 표준 API를 제공합니다. NVIDIA NIM과 GKE의 조합은 AI 모델 추론에 새로운 가능성을 열어줌으로써 조직이 GKE의 규모와 운영 효율성을 갖추어 최적의 지연 시간과 처리량을 제공할 수 있도록 도와줍니다. 사용자는 이제 GKE에서 최신 NIM 최적화 모델을 몇 번의 클릭으로 배포할 수 있습니다. 이는 이전에 사용할 수 있었던 헬름 기반 배포를 확장합니다. 이 협력은 배포 능력을 개선하고 고급 기술을 사용하여 최상의 성능과 신뢰성을 보장합니다. GKE에서 NVIDIA NIM을 시작하려면 구글 클라우드 콘솔의 구글 쿠버네티스 엔진으로 이동하여 NVIDIA NIM을 선택하고 배포를 구성하세요. 배포 후 NIM 엔드포인트에 연결하여 curl 명령어로 테스트 추론을 보내세요.