Этот гид, с участием Хоссейна Саршара, Ашиша Нарасимхама и Ченян Ли, призван помочь пользователям эффективно обслуживать большие языковые модели (LLM) с помощью vLLM. Обслуживание LLM требует соблюдения строгих требований к задержке и пропускной способности, что делает выбор ускорителя и его конфигурации крайне важным. Гид использует подход "снизу вверх" для выбора лучшего ускорителя и оптимизации настроек vLLM для экономической эффективности. Предварительные требования включают проект Google Cloud, gcloud CLI, знакомство с Linux и Docker, а также аккаунт Hugging Face с доступом к модели Gemma 3 27B. Ключевые соображения при выборе ускорителя включают используемую модель, ее точность (например, bfloat16), характеристики рабочей нагрузки, такие как запросы в секунду и длина последовательностей, желаемая загрузка GPU, скорость кеширования префиксов и требования к задержке. Кандидаты на роль ускорителей определяются из экземпляров Google Cloud, оптимизированных для ускорителей, и предложений TPU, таких как g2-standard-48, a2-ultragpu-1g, a3-highgpu-1g, TPU v5e и TPU v6e. Требования к памяти оцениваются с помощью предоставленного инструмента, который рассчитывает минимальную необходимую VRAM на основе размера модели, точности, длины последовательностей и размера пакета. Параллелизм тензоров может потребоваться для моделей, превышающих память одного ускорителя, хотя он может вносить накладные расходы на связь, влияющие на задержку. Гид подробно описывает тестирование и настройку путем запуска экземпляров, извлечения образов Docker vLLM, обновления скрипта автонастройки с конкретными параметрами и анализа результатов для поиска оптимальных конфигураций. Скрипт автонастройки итеративно находит стабильные конфигурации сервера vLLM, регулируя загрузку GPU, чтобы предотвратить ошибки "Out-of-Memory".