소형 언어 모델(LLM)을 온-프레미스 및 엣지 환경에... 노트

소형 언어 모델(LLM)을 온-프레미스 및 엣지 환경에서 실행하고 최적화하기

생성형 AI 구현을 프로토타입에서 프로덕션 환경으로 옮기면서, 데이터 주권, 정보 보안(InfoSec) 정책, 또는 낮은 지연 시간 요구 사항을 충족하기 위해 온프레미스 또는 엣지 환경에서 기반 모델(FM)을 실행해야 할 필요성을 발견할 수 있습니다. 사용자의 데이터 주권, 지연 시간, 그리고 InfoSec 요구 사항을 해결하기 위해, 이 글에서는 생성형 AI FM을 AWS 로컬 존 및 AWS 아웃포스트에 배포하는 방법에 대한 지침을 제공합니다.
CdXz5zHNQW_TAScsUO5OB.png