低推論コストモデルによる情報抽出:FoundryインタラクティブトレーニングによるF1スコア85%向上
ビジネスでは、ワークフローのためにドキュメントを構造化データに変換する必要がよくあります。これには、下流システムのために正しい値とレコードを抽出することが含まれます。長いドキュメントや繰り返しのあるテーブルは、このプロセスに課題をもたらします。研究者たちは、高度なフロンティアモデルの費用対効果の高い代替手段として、gpt-oss-20bとgpt-oss-120bをテストしました。当初、両モデルはフィールドカバレッジに短所を示しました。パフォーマンスを向上させるために、タスク固有のファインチューニングが検討されました。彼らは、ドキュメントテキストとJSONスキーマをモデルに提供するスキーマガイド抽出方法を使用しました。抽出精度を測定するために、精度、再現率、F1スコアが使用されました。ファインチューニングは、gpt-oss-20bとgpt-oss-120bの両方のF1スコアを大幅に向上させました。gpt-oss-20bは相対的なゲインが大きかったものの、gpt-oss-120bはより高い最終F1スコアを達成しました。これらのモデルは、フロンティアモデルには及ばないものの、タスク固有のファインチューニングの価値を示しました。この研究は、トレーニング前に単純なアプローチを評価し、パフォーマンスを測定することが重要であると結論付けています。Foundry Interactive Trainingのようなツールを使用したカスタムファインチューニングは、大幅な改善をもたらす可能性があります。最終的なモデルの選択は、実証された品質と全体的な展開コストに依存します。