4.2 支持向量机(SVM)
支持向量机(Support Vector Machine,SVM)是一种强大的监督学习算法,通常用于分类和回归任务。SVM的目标是找到一个最佳的分隔超平面,以将不同类别的数据点分开。
4.2.1 支持向量机介绍
SVM的核心思想是找到一个最佳的超平面(在二维空间中是一条直线,而在更高维空间中是一个超平面),该超平面可以将不同类别的数据点分开,并且使得最接近超平面的数据点到该超平面的距离最大化。这些最接近超平面的数据点被称为"支持向量"。
SVM的主要原理如下所示:
- 间隔与超平面:SVM的核心思想是找到一个超平面,它可以在不同类别的数据点之间保持最大的间隔。这个间隔是指最接近超平面的数据点到该超平面的距离。这些最接近超平面的数据点被称为"支持向量"。
- 核技巧:SVM可以通过核函数将数据从原始特征空间映射到一个更高维度的特征空间,从而使数据在新空间中更容易分隔。常用的核函数包括线性核、多项式核和高斯核。
- 正则化参数:SVM引入了一个正则化参数(通常表示为C),它允许在最大化间隔和误分类之间进行权衡。较小的C值将导致更大的间隔但容忍一些误分类,而较大的C值将导致更小的间隔但减少误分类。
- 最大间隔分类:SVM的目标是最大化间隔并且将数据点正确分类