我实测了代码模式实际节省的 token 数:65,500 个... 笔记

我实测了代码模式实际节省的 token 数:65,500 个 token 对比 226 个。

Cloudflare 的"code mode"表明,大语言模型(LLM)在生成用于与外部服务(MCP)交互的代码方面表现出色,而非直接调用这些服务。一项测试显示,LLM 仅需 1,000 个 token 即可生成一个包含 2,500 个端点的 API。随后,作者执行了一项个人任务:获取所有处于“进行中”状态的 Linear 工单,并统计其中"mcp"的出现次数。该任务若通过工具调用完成,需要 40 次顺序模型交互及超过 65,000 个 token;而一个仅十行的脚本则能在单次交互中完成相同任务,仅需约 226 个 token。这显著减少了上下文大小和往返次数,从而提升了执行速度。除成本之外,该脚本在准确性上也更优。LLM 的计数结果仅为近似值,而脚本可提供精确结果。代码模式推广的主要障碍在于:当代理已登录时,每次调用服务仍需重新认证。为解决这一问题,作者开发了 agent-codemode,该工具利用现有凭证。它支持多服务器脚本编写,采用类型化客户端,并消除了重复认证的必要性。其核心创新在于使代理能够无缝利用已存在的凭证。该工具还包含一项可添加到代理配置中的技能,鼓励默认使用。虽然主要在 macOS 上进行了测试,但 Linux 和 Windows 的支持也已部分实现。需要注意的是,从用户会话中启动的任何进程均可访问这些凭证。