算法系列——无监督学习——11.LSA

穿梭的编织者

于 2025-04-06 07:09:28 发布

阅读量486

点赞数 18

分类专栏：机器学习算法系列文章标签：学习

本文链接：https://blog.csdn.net/kouweizhu/article/details/146414984

版权

机器学习算法系列专栏收录该内容

30 篇文章

订阅专栏

一、概述

LSA（Latent Semantic Analysis，潜在语义分析）是一种自然语言处理技术。作为一种降维算法，它常被用于信息搜索领域。使用LSA能够从大量的文本数据中找出单词之间的潜在关联性。

LSA是在1988年被提出的算法，用于信息搜索领域。当时信息搜索的做法是，事先对作为搜索对象的文本中包含的单词建立索引（index），如果索引与搜索关键字相同，就将该文本加入到搜索结果中。

但是这种方法有一个缺点：如果对搜索对象建立的索引与搜索关键字有一点点不同，那就无法很好地找到信息。假设有一篇索引中包含“车”的文章，在使用“汽车”这个搜索关键字搜索时，就会出现搜索结果中没有这篇文章的问题（同义性的问题）。虽然我们人类都知道“车”和“汽车”是含义基本上相同的单词，但是一个词一个词地教给计算机“这个单词和这个单词含义相似”的做法是不现实的。

而使用LSA就可以根据大量文本自动计算单词和单词的相似度，以及单词和文本的相似度。通过LSA对文本和单词的矩阵进行降维，将其变换为潜在语义空间（下图所示）。这种变换使用矩阵分解进行。矩阵分解是指将某个矩阵表示为多个矩阵的乘积的形式。矩阵分解是如何用于无监督学习的降维算法的呢？下面的“算法说明”部分将进行介绍。

在单词空间中，车和汽车都被当作正交维度处理，而在语义空间中，二者被表示为相似的单词。

二、算法说明

下面结合具体的例子来讲解矩阵分解和降维。
首先将以下文本变换为矩阵X。矩阵X的各元素是文本中出现的单词的个数（如表所示）。
·坐汽车去公司
·坐车去的
·在餐厅吃汉堡牛肉饼
·在餐厅吃意大利面

其中，U是包含单词和归纳的特征的变换信息的矩阵，D是包含信息的重要度的矩阵，V是包含归纳的特征和文本的变换信息的矩阵。另外，D是一个对角矩阵，(1, 1)、(2, 2)等对角线上的元素之外的元素都是0，对角元素按信息的重要度从大到小排列。在使用3个矩阵降维时，我们重点关注D。下面思考这样一个需求：原始数据有4个特征，但我们希望将其降维到2个特征。

“汽车”和“车”拥有变量B的值，“汉堡牛肉饼”和“意大利面”拥有变量A的值。A和B的特征值显示了各个单词之间的关联性

三、示例代码

下面使用Python代码解决前面探讨的问题。假设有一个使用8个变量（= 单词的个数）表示的数据集，现在用2个潜在变量来表示它。

from sklearn.decomposition import TruncatedSVD
data =[[1, 0, 0, 0],
       [1, 0, 0, 0],
       [1, 1, 0, 0],
       [0, 1, 0, 0],
       [0, 0, 1, 1],
       [0, 0, 1, 0],
       [0, 0, 1, 1],
       [0, 0, 0, 1]]
n_components = 2  # 潜在变量的个数
model = TruncatedSVD(n_components=n_components)
model.fit(data)
print(model.transform(data))  # 变换后的数据
print(model.explained_variance_ratio_)  # 贡献率
print(sum(model.explained_variance_ratio_))  # 累计贡献率