ChatGPTの進化を理解する：第2部 - GPT-2とGPT-3

この記事では、GPT-2とGPT-3に焦点を当てて、ChatGPTの進化について論じている。これらは、ファインチューニングの段階を省略し、言語モデルを真正に知能化することを目的として設計された。GPT-2とGPT-3は、類似したアーキテクチャを共有しており、タスク非依存学習、スケーリング仮説、コンテキスト内学習を探求するという共通の哲学で開発された。「事前学習＋ファインチューニング」から「事前学習のみ」へのパラダイムシフトは、GPT-1のゼロショット動作によって動機付けられた。これは、事前学習がゼロショット能力を向上させることを示した。ファインチューニングには、各新しいタスクに大規模なデータセットが必要であることや、ファインチューニングデータの不本意な相関関係を利用するリスクなど、限界がある。タスク非依存学習、スケーリング仮説、コンテキスト内学習は、GPT-2とGPT-3の設計に影響を与えた重要な要素である。GPT-2は、大規模なデータセットで事前学習されたより大きなモデルが、直接ダウンストリームタスクを解決できるかどうかをテストするために設計された。一方、GPT-3は、さらにスケールアップしたときに、コンテキスト内学習がGPT-2よりも改善をもたらすかどうかをテストするために設計された。GPT-2は、多くのタスクで良い結果を達成したが、まだいくつかのタスクで最先端のモデルよりも悪い結果を示したため、GPT-3の開発が動機付けられた。GPT-3は、GPT-2と類似したモデルアーキテクチャを採用し、さらに大規模なデータセットで訓練された結果、多くのNLPデータセットで強力なパフォーマンスを達成した。GPT-2とGPT-3の開発は、NLPとより広い機械学習コミュニティにおける新しい研究方向の道を開き、出現する能力の理解と新しいトレーニングパラダイムの開発に焦点を当てている。