L'extension Inference API Gateway répond aux défis de routage de Kubernetes posés par les sessions d'inférence de grands modèles linguistiques (LLM) gourmandes en ressources et de longue durée. Les équilibreurs de charge traditionnels sont insuffisants pour ces charges de travail complexes. Cette extension améliore l'API Gateway existante avec des fonctionnalités spécifiques à l'inférence. Elle introduit deux ressources personnalisées (Custom Resources) : InferencePool, gérant les pods du serveur de modèles, et InferenceModel, définissant les points de terminaison des modèles accessibles aux utilisateurs. Le flux de requête implique un routage via Gateway, une extension de sélection de point de terminaison pour une sélection optimale des pods, et une planification tenant compte de l'inférence. Cela se traduit par un routage amélioré tenant compte du modèle. Les tests de performance montrent un débit comparable aux services Kubernetes standard, mais une latence significativement plus faible, en particulier à des taux de requête plus élevés. Les développements futurs incluent des fonctionnalités telles que l'équilibrage de charge tenant compte du cache de préfixe et la prise en charge de divers types de modèles et d'accélérateurs. L'extension simplifie et standardise le routage du trafic AI/ML au sein de Kubernetes. Elle vise à améliorer l'efficacité et l'expérience utilisateur dans le déploiement et la gestion des services LLM.