第八章 集成学习

1． 谈谈集成学习的概念和思想。

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system) 、基于委员会的学习(committee-based learning) 等. 集成学习的示意图如下所示：
它的主要思想是通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。由于基学习器的误差相互独立. 在现实任务中，个体学习器是为解决同一个问题训练出来的，它们显然不可能相互独立! 事实上，个体学习器的"准确性"和"多样性"本身就存在冲突. 一般的，准确性很高之后，要增加多样性就需牺牲准确性. 由于最终结果由各个学习器投票产生，因此，如何产生并结合"好而不同"的个体学习器，恰是集成学习研究的核心.

2． 集成学习方法可以分为哪几类，并且分别阐述它们的特点。

根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类?即个体学习器问存在强依赖关系、必须串行生成的序列化方法? 以及个体学习器间不存在强依赖关系、可同时生成的并行化方法; 前者的代表是Boosting， 后者的代表是Bagging 和"随机森林" (Random Forest).

• Boosting方法
  先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本的分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值 $T$，最后将这 $T$ 个基学习器进行加权结合。流程图如下图所示：
  
  特点:每一轮训练都要检查当前生成的基学习器是否满足基本条件（如是否比随机猜测要好），若条件不满足，则当前学习器被抛弃，学习过程终止。若因学习轮数未达到$T$而导致效果不佳，可使用重采样法重新启动学习。
• Bagging
  这类方法是从初始训练数据集中采样出 $T$ 个含 $m$ 个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器根进行结合。该方法的流程图如下所示：
  
  特点：自助采样由于只使用了初始训练集的部分样本，而剩下的样本则可用作验证集来对泛化性能进行包外估计（在基学习器是决策树时可以辅助剪枝，当基学习器是神经网络时，可以减少过拟合的风险）。

3． 在集成学习中，阐述针对二分类问题的AdaBoost算法实现过程。思考AdaBoost算法在每一轮如何改变训练数据的权值或概率分布?

3.1 Adaboost算法流程

迭代过程：
图解：

3.2主要步骤：

1.初始化训练数据的权值分布。

其中$D_1$表示第一次迭代每个样本的权值，$w_{11}$表示第一次迭代时第一个样本的权值，$N$为样本总数。
2.进行M次迭代
a）使用拥有权值分布$D_m(m=1,2,...,N)$的训练样本进行学习，得到弱分类器：$G_m(x):x\to$ { $-1,1$}.
弱分类器的性能指标通过以下误差函数的值${ϵ}_m$来衡量：

b)计算弱分类器$G_m$的话语权 α m \alpha_m α<