RSS VentureBeat
フォロー
MITの更新されたSEAL技術により、自己改善型言語モデルが現実のものに
MITの研究者たちは、ChatGPTのような大規模言語モデル（LLM）が自己改善を可能にする新しい技術「SEAL」を開発しました。SEALは、LLMが合成データを生成し、独自のファインチューニング戦略を策定することを可能にし、自己適応を実現します。この方法は、従来のモデルとは異なり、外部データや人間が作成したプロセスだけに頼りません。先月公開された拡張論文とオープンソースコードは、AIコミュニティで大きな注目を集めています。SEALは、2つのループで構成されています。内側のループは、自己生成された編集を使用してファインチューニングを行い、外側のループは、強化学習を使用して編集生成ポリシーを最適化します。知識の組み込みと少量の学習タスクでパフォーマンスが評価され、精度の大幅な向上が示されました。この技術は、人間が学習するプロセスと同様に、モデルが知識を同化する前に再構築するのに役立ちます。強力な結果を達成する一方で、破滅的な忘却やファインチューニング中の計算オーバーヘッドなどの課題も存在します。それでも、SEALが有用性の高いトレーニングデータを生成し、さまざまなシナリオにわたって一般化できる能力は有望です。研究者たちは、自己事前学習や、よりエージェント的なAIシステムの開発への応用を構想しています。この研究は、自律的なLLMの進化に向けた一歩であり、データ制限に対処し、改善をもたらす可能性があります。
