什么是欠拟合现象_深度学习中过拟合、欠拟合问题及解决方案

在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布(i.i.d，independently and identically distributed)，即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模型，即使用已经产生的数据去训练，然后使用该模型去拟合未来的数据。 在我们机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。训练一开始，模型通常会欠拟合，所以会对模型进行优化，然而等到训练到一定程度的时候，就需要解决过拟合的问题了。

一、模型训练拟合的分类和表现

如何判断过拟合呢？我们在训练过程中会定义训练误差，验证集误差，测试集误差(泛化误差)。训练误差总是减少的，而泛化误差一开始会减少，但到一定程序后不减反而增加，这时候便出现了过拟合的现象。

如下图所示，从直观上理解，欠拟合就是还没有学习到数据的特征，还有待继续学习，而过拟合则是学习进行的太彻底，以至于把数据的一些局部特征或者噪声带来的特征都给学到了，所以在进行测试的时候泛化误差也不佳。

从方差和偏差的角度来说，欠拟合就是在训练集上高方差、高偏差，过拟合也就是训练集上高方差、低偏差。为了更加生动形象的表示，我们看一些经典的图：

对比这几个图，发现图一的拟合并没有把大体的规律给拟合出来，这个就是欠拟合。图三则是拟合的太细致了，用的拟合函数太复杂了，在这些数据集上的效果很好，但是换到另外的一个数据集效果肯定可预见的不好。只有图二是最好的，把数据的规律拟合出来了，同时在更换数据集后，效果也不会很差。

仔细想想图片三中的模型，拟合函数肯定是一个高次函数，其参数个数肯定肯定比图二的要多，可以说图三的拟合函数比图二的要大，模型更加复杂。这也是过拟合的一个判断经验，模型是否太复杂。另外，针对图三，我们把一些高次变量对应的参数值变小，也就相当于把模型变简单了。这个角度上看，可以减小参数值，也就是一般模型过拟合，参数值整体比较大。从模型复杂性来讲，可以是：

1、模型的参数个数；2、模型的参数值的大小。个数越多，参数值越大，模型就越复杂。

二、欠拟合

1、欠拟合的表现

针对模型过拟合这个问题，有没有什么方法来判定模型是否过拟合呢？其实一般都是依靠模型在训练集和验证集上的表现有一个大体的判断就行了。如果要有一个具体的方法，可以参考机器学中，学习曲线来判断模型是否过拟合。如下图：

也就是看训练集合验证集随着样本数量的增加，他们之间的差值变化。如果训练集和测试集的准确率都很低，那么说明模型欠拟合。

2、欠拟合的解决方案