Ray Serve, масштабируемая библиотека для обслуживания моделей, в сочетании с Google Kubernetes Engine (GKE) предлагает мощную платформу для обслуживания LLM. Исторически гибкость Ray Serve достигалась за счет снижения производительности. Однако благодаря партнерству с Anyscale, Ray Serve теперь демонстрирует значительно улучшенную производительность, достигая до 5 раз более высокой пропускной способности и в 8 раз меньшей задержки. Эти достижения обусловлены тремя ключевыми архитектурными оптимизациями. Ray Serve теперь интегрирует HAProxy для эффективной маршрутизации запросов и балансировки нагрузки, снижая накладные расходы прокси. Архитектура прямого потокового передачи токенов обходит входящий маршрутизатор для потоков токенов, сокращая задержку. Бэкенд-исполнитель Ray v2 для vLLM обеспечивает асинхронное планирование, унифицируя путь кода и сокращая разрыв в производительности. Тестирование на GKE с использованием аппаратного обеспечения нового поколения для ИИ продемонстрировало эти значительные улучшения производительности. Улучшенный Ray Serve масштабирует пропускную способность, поддерживая низкую задержку даже при увеличении числа одновременных пользователей. GKE предоставляет необходимую инфраструктуру для этих оптимизаций, предлагая автоматическое масштабирование, мониторинг и отказоустойчивость. Разработчики теперь могут достичь производственной производительности на Kubernetes, не жертвуя богатыми функциями Ray. Последний выпуск Ray (2.56 и более поздние) включает эти улучшения, и доступны ресурсы для дальнейшего изучения.