Cohere 开源了一款可在单张 H100 上运行的代码代理
Cohere 发布了 North Mini Code，这是一个面向代理式编码流程的开源模型。该 300 亿参数的混合专家模型可在单张 H100 上高效运行，适用于子代理编排和架构映射等任务。它拥有 256,000 个 token 的上下文窗口和 64,000 个 token 的最大生成长度。North Mini Code 专为软件工程工作流设计，支持集成工具调用与交错式思考。它在分析大型代码库、映射系统架构以及执行代码审查方面表现卓越。此外，该模型针对基于终端的代理任务进行了训练，能够与 shell 命令和工具进行交互。Cohere 通过监督微调及在多样化代理框架上的强化学习对该模型进行了训练。尽管其输出 token 生成能力出色，但可能较为冗长，在高吞吐量场景下会导致推理成本上升。此次发布为 Claude Fable 5 等托管模型提供了直接替代方案，强调本地部署与成本效益。企业如今必须考虑专用代理式训练，以及冗长性对流程成本的影响。North Mini Code 与托管服务之间的选择，实质上是在成本控制与基础设施开销之间进行权衡。
