Amazon SageMaker AI가 이제 NVIDIA Nemotron 3.5 Lightning 모델에 대한 서버리스 모델 맞춤 설정을 지원합니다. 이는 지도 미세 조정(SFT), 직접 선호도 최적화(DPO), 강화 학습 미세 조정(RFT)을 통해 가능합니다. 이 모델은 NVIDIA의 최신 오픈 가중치 모델 중 하나로, 30억 개의 활성 매개변수와 총 300억 개의 매개변수를 가진 하이브리드 Mixture-of-Experts 아키텍처를 사용합니다. SageMaker AI에 이 모델을 배포하는 것 외에도, 이제 특정 도메인 및 워크플로우에 맞게 모델을 조정할 수 있습니다.모델 맞춤 설정은 자체 데이터를 사용하여 기반 모델을 맞춤화할 수 있도록 하여, 더 작고 적절한 크기의 모델이 최전선 모델과 동등한 품질을 작업에서 달성하도록 함으로써 비용과 지연 시간을 줄입니다. SFT를 사용하여 레이블이 지정된 데이터로 특정 도메인 작업의 정확도를 향상시키거나, DPO를 사용하여 선호도 데이터로 조직의 톤에 맞게 출력을 조정하거나, RFT를 사용하여 보상 신호로 새로운 작업의 성능을 향상시킬 수 있습니다. 서버리스 맞춤 설정을 통해 SageMaker AI는 모든 인프라 프로비저닝 및 학습 오케스트레이션을 처리하므로, 클러스터 관리 대신 데이터와 평가에 집중할 수 있으며 사용한 만큼만 비용을 지불하면 됩니다.SageMaker AI에서 NVIDIA Nemotron 3.5 Lightning에 대한 서버리스 모델 맞춤 설정은 US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo), Europe (Ireland) 리전에서 사용할 수 있습니다. 시작하려면 Amazon SageMaker Studio의 모델 페이지로 이동하여 맞춤 설정 작업을 시작하거나, SageMaker Python SDK를 사용하여 프로그래밍 방식으로 액세스할 수 있습니다. 자세한 내용은 Amazon SageMaker AI 모델 맞춤 설정 문서를 참조하십시오.