2013年，谷歌研究人员在一篇名为“向量空间中词表示的高效估计”的论文中提出了word2vec模型，并在随后同一团队的论文中进一步完善。它开启了语言模型中使用嵌入（dense vector representation of words和tokens）的现代用途...