2013년에 구글 연구원들이 작성한 논문 '벡터 공간에서 워드 표현의 효율적인 추정'에서 워드2벡 모델이 제안되었으며, 같은 팀의 추가 논문에 의해 더 정제되었습니다. 이는 언어 모델에 대한 밀집 벡터 표현, 즉 워드(및 나중에 토큰)의 사용을 현대화하는 데 기여했습니다.