チャットから意思決定へ:Microsoft OliveとONNXでSLMをアプリケーションロジックに組み込む
このドキュメントは、アプリケーションワークフローを高速化するためのJevスタイルの型付き決定インターフェースを探求し、構造化されたアクションにつながるセマンティック理解に焦点を当てています。注文処理のようなアプリケーションで、モデルが高速で境界のある決定を下す方法を、明示的な制約のための従来のルールや、オープンエンドな問題のための大規模モデルと比較して強調しています。中核となる概念は、頻繁で局所的な決定のためにSmall Language Models (SLMs) を使用し、決定を行動の近くに保つことです。このアプローチは、低レイテンシでタスクレベルの意図決定が重要な垂直アプリケーションや具現化されたシステムに有益です。アーキテクチャは、タスクの分担を強調しています。オープンエンドなタスクには大規模モデル、境界のあるセマンティック決定には小規模モデル、制約には決定論的なコードを使用します。このドキュメントでは、Qwen3.5-0.8Bを使用して一般的な決定コンポーネントをファインチューニングし、LoRAファインチューニングを採用してONNXにエクスポートするプロセスを詳述しています。このワークフローは、データからデプロイ可能な決定機能への具体的なパスとして機能し、長い回答ではなく境界のある選択を学習することに焦点を当てています。前処理は、各質問をトレーニング例に展開し、choice、noul、scoreのような決定タイプが特定の出力フォーマットと一致するようにします。Microsoft Oliveを使用したOliveワークフローは、ファインチューニング設定を標準化し、再現可能なプロセスを保証します。重要な違いは、Hmmプロジェクトの候補文字混合ではなく、標準的なフルシーケンス言語モデルSFTを使用することです。エクスポートプロセスでは、ModelBuilderを使用してベースモデル、アダプター、トークナイザー、および設定をデプロイ可能なONNXユニットにパッケージ化します。エクスポートプロセス中のバージョン境界と互換性の問題のナビゲーションは、堅牢なバージョン管理の必要性を強調する重要な学習ポイントとして強調されています。テストは2つの段階で構成されます。モデルが実行されることを確認し、その決定がアプリケーションで使用可能であることを検証します。これには、オプション文字のロジットから確率を抽出して、モデルの出力をchoice、noul、scoreタイプの分布として解釈することが含まれ、これは校正された正しさではなく集中度の尺度を提供します。