Amazon SageMaker AI가 SageMaker AI Studio에서 생성형 AI 추론 권장 사항을 제공합니다. 이를 통해 최적의 추론 구성을 찾기 위한 로우코드, 노코드 경로를 제공합니다. 이는 이전 API 기반 출시를 기반으로 벤치마킹 인프라를 시각적 워크플로우로 확장합니다. 생성형 AI 모델을 생산적으로 배포하려면 인스턴스 유형, 서빙 컨테이너 및 최적화 전략을 신중하게 선택해야 합니다. 이전에는 이 과정에 불확실한 결과와 함께 몇 주간의 수동 작업이 필요했습니다. 새로운 SageMaker 기능은 사용자가 지연 시간, 처리량 또는 비용과 같은 작업량 및 우선 순위를 설명할 수 있도록 합니다. 그런 다음 SageMaker AI는 NVIDIA AIPerf를 사용하여 GPU 인프라에서 다양한 구성을 벤치마킹합니다. 사용자 목표를 달성하기 위해 추측 디코딩 또는 커널 튜닝과 같은 기술을 적용합니다. 이 서비스는 성능 데이터와 함께 순위가 매겨진 프로덕션 준비 완료 권장 사항을 반환하여 팀의 몇 주간의 작업을 절약합니다. 사용자는 SageMaker AI Studio 내에서 사용 사례 프로필, 최적화 목표 및 모델 소스를 선택할 수 있습니다. 권장 사항은 주요 성능 지표에 따라 순위가 매겨지며 배포 전에 시각적으로 비교할 수 있습니다. 권장 사항 생성에 대한 추가 비용은 없으며 활성 리소스에 대한 표준 컴퓨팅 요금만 부과됩니다.