이 게시물에서 Amazon은 Amazon Trainium 칩과 vLLM을 사용하여 대규모 언어 모델을 확장 가능하게 서빙하는 Rufus(Amazon의 생성형 AI 쇼핑 도우미)를 위한 다중 노드 추론 솔루션을 어떻게 개발했는지 공유합니다. 이 솔루션은 리더/팔로워 오케스트레이션 모델, 하이브리드 병렬화 전략, Amazon ECS를 기반으로 구축된 다중 노드 추론 단위 추상화 계층을 결합하여 고성능 및 안정성을 유지하면서 여러 노드에 걸쳐 모델을 배포합니다.