Amazon Bedrock의 Amazon Nova Pro 기초 모델에서 지연 최적화 추론 발표

아마존 노바 프로(Amazon Nova Pro) 기초 모델은 현재 아마존 베드락(Amazon Bedrock)에서 지연 시간 최적화 추론을 미리보기로 지원하여 생성형 AI 애플리케이션에 더 빠른 응답 시간과 개선된 반응성을 제공합니다. 지연 시간 최적화 추론은 지연 시간에 민감한 애플리케이션의 응답 시간을 가속화하여 최종 사용자 경험을 개선하고 개발자가 사용 사례에 대한 성능을 최적화하는 데 더 많은 유연성을 제공합니다. 이러한 기능에 액세스하려면 추가 설정이나 모델 미세 조정이 필요하지 않아 기존 애플리케이션을 즉시 개선하여 더 빠른 응답 시간을 제공할 수 있습니다. 아마존 노바 프로의 지연 시간 최적화 추론은 US West (Oregon), US East (Virginia), US East (Ohio) 지역에서 크로스 지역 추론을 통해 제공됩니다. 아마존 노바 기초 모델에 대한 자세한 정보는 AWS 뉴스 블로그, 아마존 노바 제품 페이지 또는 아마존 노바 사용자 가이드에서 확인할 수 있습니다. 베드락에서 지연 시간 최적화 추론에 대한 자세한 정보는 문서에서 확인할 수 있습니다. 아마존 베드락 콘솔에서 아마존 노바 기초 모델을 시작할 수 있습니다.