Amazon SageMaker를 사용하여 Salesforce Einstein의 코드 생성 모델 성능 향상

Salesforce, 클라우드 기반 소프트웨어 회사는 기업을 위한 일반적인 인공 지능(AI) 개발을 목표로하고 있습니다. Salesforce는 고객 성공 플랫폼과 통합되는 AI 기술인 Salesforce Einstein을 보유하고 있습니다. Einstein은 기계 학습, 자연어 처리, 컴퓨터 비전, 자동 음성 인식을 포함하여 60개 이상의 기능을 제공합니다. Salesforce Einstein AI Platform 팀은 특히 대규모 언어 모델(LLM)을 Einstein 제품 오퍼링스와 함께 사용하는 AI 모델의 성능 및 기능을 개선하는 데 집중하고 있습니다. LLM을 호스팅하는 과정에서 팀은 다음과 같은 도전 과제에 직면했습니다. 모델을 안전하게 호스팅하는 것, 대량의 추론 요청을 처리하는 것, 처리량 및 지연 시간 요구 사항을 충족하는 것 등입니다. 팀은 오픈 소스 옵션과 유료 솔루션을 포함하여 다양한 도구 및 서비스를 평가하고, Amazon SageMaker를 선택했습니다. SageMaker는 GPU 액세스, 확장성, 유연성 및 성능 최적화를 제공합니다. SageMaker는 다중 서비스 엔진, 고급 배치 전략, 효율적인 라우팅 전략, 고급 GPU 액세스, 신속한 반복 및 배포와 같은 기능을 제공합니다. Einstein 팀은 SageMaker를 사용하여 LLM의 성능을 최적화하고, 지연 시간을 줄이고 처리량을 개선했습니다. SageMaker 최적화 후 처리량과 지연 시간이 모두 개선되는 것을 관찰했습니다. 팀은 또한 단일 GPU 인스턴스에서 여러 LLM을 호스팅하여 리소스 효율성을 개선할 수 있는 기회를 확인했습니다. 팀의 피드백은 추론 구성 요소 기능 개발을 지원했으며, 이제 Salesforce와 다른 SageMaker 사용자는 GPU 리소스를 더 효과적으로 활용할 수 있습니다.