【RNN】理解word2vec中的 Skip-Gram

最新推荐文章于 2025-02-27 17:01:18 发布

scxyz_

最新推荐文章于 2025-02-27 17:01:18 发布

阅读量1.9k

点赞数 1

分类专栏： RNN 文章标签： RNN skip-gram 词向量 word2vec 循环神经网络

本文链接：https://blog.csdn.net/sscc_learning/article/details/80069721

版权

本文介绍了word2vec中的Skip-Gram模型，包括训练样本、网络结构和输出结果。通过设置窗口大小，word2vec模型利用输入词预测上下文词，通过反向传播优化参数，得到词向量表示，使词之间具有相似性和类比关系。隐藏层的参数决定了词向量的数量，而负采样和层序softmax是提高训练效率的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在处理文字模型的时候，将文字转化成可以放进模型的数字，最简单方法是用 one-hot 编码。但是这种方法有弊端，转化后的每个词之间在数字上都是相互独立的，任何一对词的one-hot向量的余弦相似度都为0，任何词之间都没有关系。

Google团队发表的 word2vec 工具。word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words，简称CBOW）。值得一提的是，word2vec词向量可以较好地表达不同词之间的相似和类比关系。

下面就介绍一下Skip-Gram。

训练样本

确认窗口大小，比如这里设置为2。指定某个词后，例 brown，与其窗口为2的范围内的其他词可组成一对Training Sample，例 (brown,the) (brown,quick) (brown,fox) (brown,jumps)。这样每组Training Sample就对应每次训练的 (输入,输出)。