从对话到决策:利用 Microsoft Olive 和 ONNX 将 SLM 引入应用逻辑
本文探讨了 Jev 风格的类型化决策接口,旨在加速应用工作流,重点在于通过语义理解导向结构化行动。文章突出模型如何在订单处理等应用中实现快速且受约束的决策,并将其与传统规则(用于显式约束)及大模型(用于开放性问题)进行对比。核心概念是利用小语言模型(SLMs)处理频繁且局部的决策,使决策尽可能贴近执行动作。这种方法对垂直领域应用和具身系统尤为有益,因为在这些场景中,低延迟的任务级意图决策至关重要。该架构强调分工协作:大模型处理开放性问题,小模型处理受约束的语义决策,确定性代码处理约束条件。本文详细描述了使用 Qwen3.5-0.8B 微调通用决策组件的过程,采用 LoRA 微调并导出为 ONNX 格式。该工作流程为从数据到可部署决策能力的实现提供了具体路径,聚焦于学习受约束的选择而非生成长答案。预处理阶段将每个问题扩展为训练示例,确保决策类型(choice、noul 和 score)与特定输出格式对齐。Olive 工作流利用 Microsoft Olive 标准化微调设置,确保过程可复现。关键区别在于采用标准的全序列语言模型 SFT,而非 Hmm 项目中的候选字母混合方法。导出过程使用 ModelBuilder 将基础模型、适配器、分词器和配置打包为可部署的 ONNX 单元。在导出过程中应对版本边界和兼容性问题被强调为关键学习点,凸显了稳健版本管理的必要性。测试分为两个阶段:确保模型运行正常,并验证其决策可被应用使用。这包括从选项字母的 logits 中提取概率,将模型输出解释为 choice、noul 和 score 类型的分布,从而衡量其集中程度而非校准后的正确性。