Amazon SageMaker 추론은 생성적 AI 모델에 대한 더 빠른 자동 크기 조정을 출시합니다.

1. Amazon SageMaker는 생성적 AI 모델이 자동으로 확장하는 데 걸리는 시간을 줄이는 새로운 기능을 도입했습니다. 2. 새로운 기능은 생성적 AI 모델에 대한 확장 지연을 크게 줄이는 데 사용되는 분당 지표를 사용합니다. 3. 이러한 개선은 수요가 변동할 때 생성적 AI 애플리케이션의 응답성을 개선할 수 있습니다. 4. SageMaker는 생성적 AI 추론의 도전 과제를 해결하는 업계 최고의 기능을 제공합니다. 생성적 AI 추론 엔드포인트를 통해 배포 비용과 지연을 줄입니다. 5. SageMaker 추론 최적화 툴킷은 생성적 AI 성능에서 처리량을 최대 2배 높이면서 비용을 약 50% 절감할 수 있습니다. 6. SageMaker 추론은 LLM에 대한 스트리밍 지원을 제공하여 전체 응답을 기다리지 않고 실시간으로 스트리밍 토큰을 지원합니다. 7. SageMaker 추론은 동일한 엔드포인트에서 단일 모델 또는 다중 모델을 배포하는 기능을 제공합니다. 8. 더 빠른 자동 확장 지표가 도입되었습니다. 예를 들어 ConcurrentRequestsPerModel 및 ConcurrentRequestsPerCopy와 같은 지표는 시스템의 부하를 더 직접적이고 정확하게 나타냅니다. 9. 이러한 지표를 사용하면 생성적 AI 모델의 확장 시간을 크게 줄이고, LLM 배포의 확장 시간을 개선할 수 있습니다. 10. 이러한 새로운 지표를 사용하면 수요가 변동할 때 LLM 배포의 성능과 비용 효율성을 최적화할 수 있습니다.