Kimi 및 GLM과 같은 프론티어 모델을 서비스하려면 GPU 메모리를 확보하기 위한 싸움이 필요합니다. 여기서는 KV 캐시를 양자화하고, 모델 가중치를 압축하며, 무결성 검사를 추가하여 더 빠르고 저렴하며 안전하게 서비스하는 방법을 설명합니다.