KimiやGLMのようなフロンティアモデルを提供するには、GPUメモリをめぐる戦いがあります。ここでは、KVキャッシュの量子化、モデルウェイトの圧縮、整合性チェックの追加により、それらをより速く、安く、安全に提供する方法を説明します。