Die Gateway API Inference Extension (Erweiterung für Inferenz) adressiert Routing-Herausforderungen in Kubernetes, die durch langlaufende, ressourcenintensive Inferenz-Sitzungen mit großen Sprachmodellen (LLMs) entstehen. Traditionelle Load Balancer sind für diese komplexen Workloads unzureichend. Diese Erweiterung verbessert die bestehende Gateway API mit inferenzspezifischen Fähigkeiten. Sie führt zwei benutzerdefinierte Ressourcen (Custom Resources) ein: InferencePool, das Model-Server-Pods verwaltet, und InferenceModel, das benutzerseitige Modell-Endpunkte definiert. Der Request-Flow umfasst Gateway-Routing, eine Endpoint Selection Extension (Erweiterung zur Endpunktauswahl) für die optimale Pod-Auswahl und inferenzfähiges Scheduling. Dies führt zu verbessertem modellbasiertem Routing. Benchmarking zeigt einen vergleichbaren Durchsatz wie bei Standard-Kubernetes-Diensten, aber eine deutlich geringere Latenz, insbesondere bei höheren Abfrageraten. Zukünftige Entwicklungen umfassen Funktionen wie Prefix-Cache-fähiges Load Balancing und Unterstützung für verschiedene Modelltypen und Beschleuniger. Die Erweiterung vereinfacht und standardisiert das AI/ML-Traffic-Routing innerhalb von Kubernetes. Sie zielt darauf ab, die Effizienz und User Experience bei der Bereitstellung und Verwaltung von LLM-Diensten zu verbessern.