阿明·罗纳谢尔:什么是推理
一篇近期论文揭示了如何从闭权模型中提取推理轨迹,引发了网络讨论。推理轨迹通常对用户隐藏,而在开权模型中则是可见的。这些轨迹本质上是模型被训练在输出最终答案之前写入草稿垫(scratchpad)的文本。特殊标记(special tokens)界定这些推理部分,解析器将该内容导向独立流。对于闭权模型,此类中间文本很可能被删减或摘要化。模型执行的推理量由其系统提示决定,而非采样参数。例如,可设置为“低”或“绝对最大且禁止任何捷径”。模型被训练将此类草稿工作与最终响应通道分离。诱使模型误以为自身处于推理通道,可能导致这些轨迹泄露。较旧的模型在禁用思考时,有时会将思考内容写入空设备。在某些情况下,唯一的特殊行为是模型能够停止思考,这可通过禁用其常规思考机制实现。某些推理 API 可能通过预填充 token 来管理推理,这可被自定义工具绕过,特别是在原生推理被禁用的情况下。作者在尝试使用特定模型为本博客文章进行语法检查时,幽默地遇到了内容过滤器。