Microsoft Teams Blog articles на русском
Подписаться
Извлечение информации с моделями с низкой стоимостью вывода: прирост F1 на 85% благодаря интерактивному обучению Foundry
Компании часто нуждаются в преобразовании документов в структурированные данные для рабочих процессов. Это включает извлечение правильных значений и записей для последующих систем. Длинные документы и повторяющиеся таблицы представляют собой проблемы для этого процесса. Исследователи протестировали gpt-oss-20b и gpt-oss-120b как экономически эффективные альтернативы передовым моделям. Изначально обе модели показали недостатки в охвате полей. Для повышения их производительности было исследовано дообучение под конкретную задачу. Они использовали метод извлечения, управляемый схемой, предоставляя модели текст документа и схему JSON. Для измерения точности извлечения использовались показатели точности (precision), полноты (recall) и F1-меры (F1 score). Дообучение значительно улучшило F1-меры как для gpt-oss-20b, так и для gpt-oss-120b. В то время как gpt-oss-20b показал больший относительный прирост, gpt-oss-120b достиг более высокого итогового F1-мера. Эти модели, хотя и не сравнились с передовыми моделями, продемонстрировали ценность дообучения под конкретную задачу. Исследование приходит к выводу, что оценка более простых подходов перед обучением и измерение производительности имеют решающее значение. Индивидуальное дообучение с помощью таких инструментов, как Foundry Interactive Training, может привести к существенным улучшениям. Окончательный выбор модели зависит от продемонстрированного качества и общих затрат на развертывание.