트랜스포머에서 문맥 벡터 생성 및 시각화

이 포스트는 세 부분으로 나뉩니다. 다음과 같습니다. • 컨텍스트 벡터 이해 • 다른 레이어의 컨텍스트 벡터 시각화 • 주의 패턴 시각화 전통적인 워드 임베딩(Word2Vec 또는 GloVe와 같은)과는 달리, 각 워드에 상관없이 고정된 벡터를 할당하는 대신, 트랜스포머 모델은 주변 워드에 따라 동적으로 표현을 생성합니다.