쿠버네티스에서 대규모 언어 모델을 실행하는 환경은 크게 발전했으며, 이전에 해결되지 않았던 많은 문제들이 이제는 자금이 풍부한 솔루션과 확고한 플레이어들에 의해 해결되었습니다. KV-캐시 인식 라우팅, 사전 채우기/디코딩 분리, 분수 GPU 공유, GPU 스케줄링 기본 요소와 같은 영역은 이미 경쟁이 치열한 것으로 간주됩니다. 이러한 부분들은 다양한 프로젝트와 상용 제품으로 다루어지고 있어, 이 분야에서의 새로운 시도는 선구적이기보다는 경쟁적입니다.하지만, 진정으로 서비스가 부족한 세 가지 영역이 남아 있으며, 이는 새로운 개발 기회를 제공합니다. 첫 번째는 컨테이너 이미지가 처리되는 방식과 유사하게, 모델 가중치 배포를 쿠버네티스의 최우선 기본 요소로 만드는 것입니다. 현재 대규모 모델 가중치에 대한 임시 다운로드 방식은 긴 콜드 스타트의 주요 원인이며, 효율적인 제로 스케일 배포를 방해합니다. 제안된 해결책은 모델 아티팩트 및 캐싱을 위한 CRD와 콘텐츠 유효성 검사 및 피어 투 피어 사전 워밍을 위한 노드 수준의 메커니즘을 포함합니다.두 번째로 서비스가 부족한 영역은 요청 이질성을 고려하는 SLO 기반 추론 자동 확장이었습니다. SLO 인식 자동 확장은 존재하지만, 요청의 긴급성과 지연 시간 허용 오차에 따라 요청을 차별화하기 위한 보다 미묘한 접근 방식이 필요합니다. 이는 요청별 클래스 지연 시간 예산 책정 및 수락 제어 메커니즘을 포함할 수 있습니다.세 번째 격차는 여러 테넌트별 LoRA 어댑터의 수명 주기를 관리하는 데 있습니다. 런타임에 어댑터를 로드하는 것은 지원되지만, 수명 주기 관리, 캐시 제거, VRAM 예산 책정과 같은 중요한 측면은 여전히 대부분 수동으로 처리됩니다. LoRA 어댑터, 해당 배치 및 라우팅을 관리하기 위한 CRD 기반 솔루션이 필요합니다.모델 가중치 배포에 초점을 맞춘 첫 번째 아이디어는 인프라 중심적이고 대규모 GPU 리소스 없이도 시연이 가능하다는 점에서 OSS 운영자 프로젝트에 권장됩니다. 미묘한 SLO 자동 확장에 관한 두 번째 아이디어는 엄격한 벤치마킹을 통한 연구 중심 기여에 더 적합합니다. LoRA 어댑터 수명 주기 관리를 위한 세 번째 아이디어는 두 가지 사이의 중간 지점을 제공합니다. 이러한 영역 중 어느 것도 완전히 비어 있지 않으며, 새로운 노력은 기존의 선행 기술을 기반으로 할 것이라는 점에 유의하는 것이 중요합니다.