RSS VentureBeat
팔로우
MIT의 업데이트된 SEAL 기법으로 자기 개선 언어 모델이 현실이 되고 있습니다.
MIT 연구원들이 ChatGPT와 같은 대규모 언어 모델(LLM)이 스스로를 개선할 수 있도록 하는 새로운 기술인 SEAL을 개발했습니다. SEAL은 LLM이 합성 데이터를 생성하고 자체 미세 조정 전략을 수립하여 자체 적응을 달성할 수 있도록 합니다. 이 방법은 기존 모델과 달리 외부 데이터와 사람이 만든 프로세스에만 의존하지 않습니다. 지난달 공개된 확장된 논문과 오픈 소스 코드는 AI 커뮤니티에서 상당한 주목을 받았습니다. SEAL은 두 개의 루프로 구성됩니다. 내부 루프는 자체 생성된 편집을 사용하여 미세 조정하고, 외부 루프는 강화 학습을 사용하여 편집 생성 정책을 최적화합니다. 지식 통합 및 소수샷 학습 작업에서 성능을 평가한 결과 정확도가 크게 향상되었습니다. 이 기술은 모델이 인간 학습 과정과 유사하게 지식을 통합하기 전에 재구성하는 데 도움이 됩니다. 강력한 결과를 달성했지만, 미세 조정 중 치명적인 망각 가능성과 계산 오버헤드와 같은 과제가 있습니다. 그럼에도 불구하고 SEAL은 높은 유용성의 훈련 데이터를 생성하고 다양한 시나리오에서 일반화하는 능력은 유망합니다. 연구원들은 자체 사전 훈련 및 더 에이전트적인 AI 시스템 개발에 대한 응용을 구상하고 있습니다. 이 작업은 자율적인 LLM 진화를 향한 한 걸음이며, 데이터 제한을 해결하고 개선으로 이어질 수 있습니다.
