Узнайте, как развернуть одну большую языковую модель на двух GPU-узлах в Amazon EKS, используя многоузловые контейнеры Ray LLM Deep Learning Containers, с отдельными узлами prefill и decode за одним совместимым с OpenAI конечным узлом. Готовый контейнер поставляется с полным стеком для инференса, поэтому вы настраиваете развертывание, а не собираете его.