RSS DEV 社区
关注
我发布了一个大语言模型效率与安全内核——并删除了我自己最好的想法
作者试图通过编排多个大语言模型(LLM)来提升其性能,这一概念被称为“有丝分裂”。该方法涉及将任务拆分、让模型相互竞争,然后综合最优答案。然而,严格的测试表明,这种方法降低了正确率,通过测试的比例从 95% 下降至 83%,同时成本显著增加。在三次独立实验中均确认了这些负面结果后,作者删除了该失败的功能。核心教训是:一个在提案中听起来很好的想法,未必能在实际测量中存活。相反,作者开发并发布了 BIOMA,这是一个轻量级、提供商无关的预处理内核,用于处理 LLM 请求。BIOMA 采用三种关键机制:通过上下文“凋亡”提升效率以减少 token 用量;通过“认知防火墙”实现安全,用于秘密信息脱敏和流量洪峰检测;通过高效的信号系统提升速度。效率机制通常可减少 80% 的输入 token,最高可达 97%。安全功能在红队测试中成功防止了任何秘密信息泄露。BIOMA 设计为可与任何 LLM 提供商协作,避免供应商锁定。代码以源码可用形式发布,许可协议允许非竞争目的免费使用,并在两年后转为 MIT 许可证。作者强调,必须测量一切,仅保留经数据验证的内容,即使这意味着放弃最初的项目目标。