챗에서 결정으로: Microsoft Olive와 ONNX를 사용하여 SLM을 애플리케이션 로직에 통합하기
이 문서는 애플리케이션 워크플로우 가속화를 위한 Jev 스타일의 타입화된 의사결정 인터페이스를 탐구하며, 구조화된 행동으로 이어지는 의미론적 이해에 초점을 맞춥니다. 이 문서는 모델이 주문 처리와 같은 애플리케이션에서 명시적 제약 조건에 대한 기존 규칙 및 개방형 문제에 대한 대규모 모델과 대조적으로 빠르고 제한된 결정을 내릴 수 있는 방법을 강조합니다. 핵심 개념은 빈번하고 국지적인 결정을 위해 소형 언어 모델(SLM)을 사용하여 의사결정을 행동에 가깝게 유지하는 것입니다. 이 접근 방식은 낮은 지연 시간, 작업 수준의 의도 결정이 중요한 수직 애플리케이션 및 구현 시스템에 유익합니다.아키텍처는 노동 분담을 강조합니다. 개방형 작업에는 대규모 모델, 제한된 의미론적 결정에는 소형 모델, 제약 조건에는 결정론적 코드를 사용합니다. 이 문서는 Qwen3.5-0.8B를 사용하여 일반 의사결정 구성 요소를 미세 조정하고 LoRA 미세 조정을 사용하며 ONNX로 내보내는 프로세스를 자세히 설명합니다. 이 워크플로우는 데이터에서 배포 가능한 의사결정 기능으로 가는 구체적인 경로 역할을 하며, 긴 답변보다는 제한된 선택을 학습하는 데 중점을 둡니다.전처리 단계는 각 질문을 학습 예제로 확장하여 선택, noul 및 점수와 같은 의사결정 유형이 특정 출력 형식과 일치하도록 합니다. Microsoft Olive를 사용하는 Olive 워크플로우는 미세 조정 설정을 표준화하고 재현 가능한 프로세스를 보장합니다. 주요 차이점은 Hmm 프로젝트의 후보 문자 혼합이 아닌 표준 전체 시퀀스 언어 모델 SFT를 사용한다는 것입니다. 내보내기 프로세스는 ModelBuilder를 사용하여 기본 모델, 어댑터, 토크나이저 및 구성을 배포 가능한 ONNX 단위로 패키징합니다.내보내기 프로세스 중 버전 경계 및 호환성 문제를 탐색하는 것은 강력한 버전 관리의 필요성을 강조하는 중요한 학습 포인트로 강조됩니다. 테스트는 두 단계로 구성됩니다. 모델이 실행되는지 확인하고 모델의 결정이 애플리케이션에서 사용 가능한지 확인합니다. 여기에는 옵션 문자 로짓에서 확률을 추출하여 모델의 출력을 선택, noul 및 점수 유형에 대한 분포로 해석하는 것이 포함되며, 이는 보정된 정확성보다는 집중도를 측정합니다.