Этот гид подробно описывает систематический подход к выбору оптимального ускорителя и настройке vLLM для эффективного обслуживания больших языковых моделей (LLM). Он подчеркивает, что не существует универсальной идеальной конфигурации для всех сценариев использования LLM. Процесс начинается со сбора критически важной информации о вашей конкретной рабочей нагрузке, включая используемую модель, ее точность, ожидаемый объем запросов и длину последовательностей.Понимание характеристик рабочей нагрузки жизненно важно для определения требований к VRAM и необходимости тензорного параллелизма. В гиде излагается, как оценить минимальную необходимую VRAM, учитывая веса модели, активации и KV-кэш. Затем обсуждаются различные варианты GPU и TPU, доступные в Google Cloud, такие как GPU L4, A100, H100, а также TPU v5e и v6e.Тензорный параллелизм, который распределяет модели по нескольким ускорителям, объясняется как метод для работы с большими моделями, но он может приводить к накладным расходам на связь, влияющим на задержку. Далее гид переходит к тестированию и оптимизации, используя скрипт auto_tune.sh для проверки различных конфигураций. Этот скрипт автоматически находит максимальную стабильную утилизацию GPU и тестирует различные размеры последовательностей и пакетов.Предоставляются советы по устранению неполадок для возможных проблем, таких как ошибки CUDA out-of-memory или зависания при профилировании. Цель состоит в том, чтобы определить лучшую точку соотношения цены и производительности, оценивая задержку и пропускную способность на выбранных ускорителях. В конечном счете, гид дает пользователям возможность принимать обоснованные решения для экономически эффективных и высокопроизводительных развертываний LLM.