基于 TurboQuant 的高效 KV 压缩

Google 近期推出了 TurboQuant，这是一套新颖的算法套件和库，用于对大型语言模型（LLMs）和向量搜索引擎应用先进的量化与压缩技术——这是检索增强生成（RAG）系统不可或缺的组成部分。