Amazon SageMaker AI에서 llama.cp... 노트

Amazon SageMaker AI에서 llama.cpp로 결정 모델 배포

Amazon SageMaker AI에서 llama.cpp를 사용하여 의사결정 모델을 배포하는 방법을 알아보세요. 이 기술 가이드는 llama.cpp용 AWS 딥러닝 컨테이너로 OpenAI 호환 채팅 완료 기능을 제공하고, SemIf를 사용하여 CPU 또는 GPU에서 선언된 옵션에 대한 확률을 반환하도록 런타임을 확장합니다.
CdXz5zHNQW_mFm5KkEVk4.png