ChatGPT의 진화 이해: 2부 – GPT-2와 GPT-3

이 글에서는 GPT-2와 GPT-3을 중점으로 ChatGPT의 진화를 논의합니다. 이 둘은 미세 조정 단계를 우회하고 언어 모델을 진정으로 지능적으로 만드는 데 고안되었습니다. GPT-2와 GPT-3는 유사한 구조를 공유하고, 태스크에 구애받지 않는 학습, 스케일링 가설, 컨텍스트 학습을 탐구하는 공통된 철학으로 개발되었습니다."사전 훈련과 미세 조정"에서 "사전 훈련만"으로의 패러다임 전환은 사전 훈련이 제로 샷 능력을 향상시킬 수 있음을 보여준 GPT-1의 제로 샷 동작에 의해 동기를 부여받았습니다. 미세 조정에는 각각의 새 과제에 대해 많은 데이터셋이 필요하고 미세 조정 데이터에서 허위 상관관계를 활용할 위험이라는 한계가 있습니다. 태스크에 구애받지 않는 학습, 스케일링 가설, 컨텍스트 학습은 GPT-2와 GPT-3의 설계에 영향을 미친 주요 요소입니다. GPT-2는 더 큰 데이터셋에 사전 훈련된 더 큰 모델이 하위 과제를 풀기에 직접적으로 사용될 수 있는지 시험하기 위해 설계된 반면, GPT-3는 컨텍스트 학습이 더 확장될 경우 GPT-2보다 향상될 수 있는지 시험하기 위해 설계되었습니다. GPT-2는 많은 과제에서 좋은 결과를 얻었지만 일부 과제에서는 최신 모델에 비해 성능이 낮아 GPT-3의 개발을 촉발했습니다. GPT-3는 GPT-2와 유사한 모델 구조를 채택하고 훨씬 더 큰 데이터셋으로 훈련되어 많은 NLP 데이터셋에서 뛰어난 성능을 달성했습니다. GPT-2와 GPT-3의 개발은 새로운 능력을 이해하고 새로운 훈련 패러다임을 개발하는 데 중점을 둔 NLP와 더 폭넓은 ML 커뮤니티에서 새로운 연구 방향을 열어줍니다.