Ландшафт запуска больших языковых моделей на Kubernetes значительно эволюционировал: многие ранее открытые проблемы теперь имеют хорошо финансируемые решения и признанных игроков. Такие области, как маршрутизация с учетом KV-кэша, разделение префилтрации/декодирования, дробное совместное использование GPU и примитивы планирования GPU, считаются переполненными. Эти сегменты охватываются различными проектами и коммерческими предложениями, что делает новые предприятия в этих областях конкурентными, а не новаторскими.Однако три отдельные области остаются действительно недостаточно обслуживаемыми, представляя возможности для нового развития. Первая — это установление распределения весов модели как примитива Kubernetes первого класса, аналогично тому, как обрабатываются образы контейнеров. Текущие импровизированные методы загрузки больших весов модели являются основной причиной длительных холодных стартов, препятствуя эффективным развертываниям с масштабированием до нуля. Предлагаемое решение включает CRD для артефактов модели и кэширования, с машинным обеспечением на уровне узла для проверки содержимого и однорангового предварительного прогрева.Вторая недостаточно обслуживаемая область — это авто масштабирование инференса на основе SLO, учитывающее гетерогенность запросов. Хотя авто масштабирование, учитывающее SLO, существует, требуется более тонкий подход для дифференциации запросов на основе их срочности и допустимой задержки. Это может включать бюджетирование задержки для каждого класса запросов и механизмы контроля приема.Третий пробел заключается в управлении жизненным циклом нескольких адаптеров LoRA, специфичных для арендаторов. Хотя загрузка адаптеров во время выполнения поддерживается, критические аспекты, такие как управление жизненным циклом, вытеснение из кэша и бюджетирование VRAM, по-прежнему в значительной степени обрабатываются вручную. Требуется решение на основе CRD для управления адаптерами LoRA, их размещением и маршрутизацией.Идея первая, сосредоточенная на распределении весов модели, рекомендуется для проектов операторов OSS из-за ее инфраструктурной направленности и возможности демонстрации без огромных ресурсов GPU. Идея вторая, касающаяся тонкого авто масштабирования SLO, лучше подходит для исследований с строгим тестированием. Идея третья, по управлению жизненным циклом адаптеров LoRA, предлагает промежуточное решение между двумя предыдущими. Важно отметить, что ни одна из этих областей не является полностью свободной, и новые усилия будут опираться на существующие предшествующие наработки.