텍스트 생성을 위한 디코더 전용 트랜스포머 모델 구축 노트

텍스트 생성을 위한 디코더 전용 트랜스포머 모델 구축

이 포스트는 다섯 부분으로 나뉘어 있습니다. 다음과 같습니다. • 풀 트랜스포머에서 디코더 전용 모델로 • 디코더 전용 모델 구축 • 자체 지도 학습을 위한 데이터 준비 • 모델 훈련 • 확장 트랜스포머 모델은 원래 입력 시퀀스를 컨텍스트 벡터로 변환하는 시퀀스-투-시퀀스(seq2seq) 모델로 시작했으며, 이 컨텍스트 벡터를 사용하여 새로운 시퀀스를 생성합니다.
CdXz5zHNQW_1MwHlKkAIw.jpeg