파운드리 인터랙티브 트레이닝을 통한 85% F1 향상:... 노트

파운드리 인터랙티브 트레이닝을 통한 85% F1 향상: 낮은 추론 비용 모델을 이용한 정보 추출

비즈니스에서는 워크플로우를 위해 문서를 구조화된 데이터로 변환해야 하는 경우가 많습니다. 여기에는 다운스트림 시스템을 위한 올바른 값과 레코드를 추출하는 작업이 포함됩니다. 긴 문서와 반복적인 테이블은 이 과정에 어려움을 줍니다. 연구원들은 고급 프론티어 모델에 대한 비용 효율적인 대안으로 gpt-oss-20b와 gpt-oss-120b를 테스트했습니다. 처음에는 두 모델 모두 필드 커버리지에서 단점을 보였습니다. 성능 향상을 위해 작업별 미세 조정을 탐색했습니다. 그들은 모델에 문서 텍스트와 JSON 스키마를 제공하는 스키마 기반 추출 방법을 사용했습니다. 추출 정확도를 측정하기 위해 정밀도, 재현율 및 F1 점수를 사용했습니다. 미세 조정은 gpt-oss-20b와 gpt-oss-120b 모두에 대해 F1 점수를 크게 향상시켰습니다. gpt-oss-20b는 더 큰 상대적 이득을 보인 반면, gpt-oss-120b는 더 높은 최종 F1 점수를 달성했습니다. 이 모델들은 프론티어 모델에 미치지는 못했지만, 작업별 미세 조정의 가치를 입증했습니다. 이 연구는 훈련 전에 더 간단한 접근 방식을 평가하고 성능을 측정하는 것이 중요하다는 결론을 내립니다. Foundry Interactive Training과 같은 도구를 사용한 맞춤형 미세 조정은 상당한 개선을 가져올 수 있습니다. 최종 모델 선택은 입증된 품질과 전체 배포 비용에 따라 달라집니다.