Расширение Gateway API для инференса решает проблемы Kubernetes, связанные с маршрутизацией длительных и ресурсоемких сессий инференса больших языковых моделей (LLM). Традиционные балансировщики нагрузки недостаточно эффективны для таких сложных задач. Это расширение улучшает существующий Gateway API, добавляя возможности, специфичные для инференса. Оно вводит два пользовательских ресурса (Custom Resources): InferencePool, управляющий подами серверов моделей, и InferenceModel, определяющий пользовательские конечные точки моделей. Рабочий процесс запроса включает в себя маршрутизацию Gateway, расширение Endpoint Selection Extension для оптимального выбора пода, и планирование с учетом особенностей инференса. Это приводит к улучшенной маршрутизации с учетом модели. Бенчмарки показывают сопоставимую пропускную способность со стандартными сервисами Kubernetes, но значительно меньшую задержку, особенно при более высоких скоростях запросов. Дальнейшая разработка включает в себя такие функции, как балансировка нагрузки с учетом префиксного кэша и поддержка различных типов моделей и ускорителей. Расширение упрощает и стандартизирует маршрутизацию AI/ML трафика в Kubernetes. Оно направлено на повышение эффективности и удобства пользователей при развертывании и управлении сервисами LLM.