背带是否物有所值? 笔记

背带是否物有所值?

Naresh Jain 对比了构建相同 API 服务时,有无行为约束(behavioral harness)的编码代理的表现。前沿模型 GPT-6 Sol 在两种情况下均通过了所有外部评估。而经过成本优化的模型 GPT-6 Luna 在未加约束的 10 次运行中仅成功 3 次,但在施加约束后 10 次全部成功。尽管为 Luna 添加约束增加了令牌用量和运行时间,但受约束的 Luna 运行实现了与 GPT-6 Sol 相同的 10 次全中可靠性,且每次运行成本降低 33%($0.273 对比 $0.406)。该实验表明,行为约束可能是从更小、更具成本优化优势的模型中获得可靠结果的实用方法。