Amazon EKS에서 두 개의 GPU 노드에 걸쳐 하나의 대규모 언어 모델을 배포하는 방법을 알아보세요. 별도의 prefill 및 decode 노드를 갖춘 멀티 노드 Ray LLM Deep Learning Containers를 사용하여 하나의 OpenAI 호환 엔드포인트 뒤에 배치합니다. 사전 구축된 컨테이너는 전체 추론 스택을 제공하므로, 배포를 조립하는 대신 구성만 하면 됩니다.