Microsoft Teams Blog articles на русском
Подписаться
От чата к решениям: Интеграция SLM в логику приложений с помощью Microsoft Olive и ONNX
Этот документ исследует типизированные интерфейсы принятия решений в стиле Jev для ускорения рабочих процессов приложений, уделяя особое внимание семантическому пониманию, ведущему к структурированным действиям. Он подчеркивает, как модели могут принимать быстрые, ограниченные решения в таких приложениях, как обработка заказов, в отличие от традиционных правил для явных ограничений и больших моделей для открытых задач. Основная концепция заключается в использовании малых языковых моделей (SLM) для частых, локализованных решений, приближая принятие решений к действию. Этот подход выгоден для вертикальных приложений и воплощенных систем, где решающее значение имеют решения о намерениях на уровне задач с низкой задержкой.Архитектура подчеркивает разделение труда: большие модели для открытых задач, малые модели для ограниченных семантических решений и детерминированный код для ограничений. Документ подробно описывает процесс дообучения общего компонента принятия решений с использованием Qwen3.5-0.8B, применяя дообучение LoRA и экспорт в ONNX. Этот рабочий процесс служит конкретным путем от данных к развертываемой возможности принятия решений, фокусируясь на обучении ограниченных выборов, а не на длинных ответах.Предварительная обработка расширяет каждый вопрос в обучающие примеры, гарантируя, что типы решений, такие как выбор, отсутствие ответа и оценка, соответствуют конкретным выходным форматам. Рабочий процесс Olive, использующий Microsoft Olive, стандартизирует настройки дообучения и обеспечивает воспроизводимый процесс. Ключевое отличие заключается в использовании стандартного полнопоследовательного дообучения языковой модели (SFT), а не смешивания букв-кандидатов из проекта Hmm. Процесс экспорта использует ModelBuilder для упаковки базовой модели, адаптера, токенизатора и конфигурации в развертываемый блок ONNX.Навигация по границам версий и проблемам совместимости в процессе экспорта выделяется как критически важный момент обучения, подчеркивая необходимость надежного управления версиями. Тестирование включает два этапа: обеспечение работоспособности модели и проверка того, что ее решения могут быть использованы приложением. Это включает извлечение вероятностей из логитов букв-вариантов для интерпретации выходных данных модели как распределений для типов "выбор", "отсутствие ответа" и "оценка", обеспечивая меру концентрации, а не калиброванной точности.