Gateway API 추론 확장 기능은 장시간 실행되고 리소스 집약적인 대규모 언어 모델(LLM) 추론 세션으로 인해 발생하는 Kubernetes 라우팅 문제를 해결합니다. 기존의 로드 밸런서는 이러한 복잡한 워크로드에 적합하지 않습니다. 이 확장은 기존 Gateway API를 추론에 특화된 기능으로 향상시킵니다. 두 개의 사용자 정의 리소스(Custom Resource)인 InferencePool(모델 서버 포드를 관리)과 InferenceModel(사용자에게 제공되는 모델 엔드포인트를 정의)을 도입합니다. 요청 흐름은 Gateway 라우팅, 최적의 포드 선택을 위한 엔드포인트 선택 확장 기능, 그리고 추론 인식 스케줄링을 포함합니다. 이는 모델 인식 라우팅의 개선으로 이어집니다. 벤치마킹 결과는 표준 Kubernetes 서비스와 유사한 처리량을 보여주지만, 특히 높은 쿼리 속도에서 훨씬 낮은 지연 시간을 나타냅니다. 향후 개발에는 접두사 캐시 인식 로드 밸런싱과 다양한 모델 유형 및 가속기에 대한 지원과 같은 기능이 포함됩니다. 이 확장은 Kubernetes 내에서 AI/ML 트래픽 라우팅을 간소화하고 표준화합니다. LLM 서비스의 배포 및 관리 효율성과 사용자 경험을 향상시키는 것을 목표로 합니다.