数据科学、数据分析、人工智能必备知识汇总-----机器学习-----Adaboost-----持续更新

这一章了解即可，为后面学习XGBoost打基础的一个东西

1. 简介

Blending融合，将各种弱学习器集成在一起

---

独立融合uniformly blending称为Bagging，也就是权重全为1

$G(x)=sign(\sum g(x))$

---

线性融合linearly blending，权重都不一样，称为Boosting

$G(x)=sign(\sum \alpha \cdot g(x))$

---

非线性融合non-linearly blending，也属于Boosting。每个弱学习器经过各种各样非线性变换，再去进行相对应的融合

$G(x)=sign(\sum h(g(x)))$

Adaboost属于线性融合的boosting

boosting

---

集成学习的一种思路

---

多轮迭代(全部数据)每一轮产生一个弱分类器

---

将弱分类器预测结果相加，得到强分类器的最终结果

---

Adaboost、GBDT、Xgboost

---

RF、Adaboost、GBDT和XGBoost 都属于集成学习(Ensemble Learning)，集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性（在面临内部结构或外部环境变化时，能够保持其功能和性能稳定的能力）

---

第一个模型学习，下图中可以看到虚线上下，上面应该全是红色，下面全是蓝色，但是上面有2个蓝色，下面出现一个红色，这些就是判错的样本，那么adaboost就会提高这些判错样本的权重

---

---

下图再次进行训练（注意是第一个模型的结果，给予第二个模型），发现又有2个蓝色的判给红色了，那么这两个蓝色提高权重

---

---

第二个模型的结果传递给第三个模型，再次划分后又有一个红色判错，那么就提高权重。最终每个弱学习器给相应权重，进行加权求和后，获取最终的结果

---

什么是Adaboost

---

1. 对样本赋予权重，采用迭代的方式来构造每一步的弱分类器

---

2. 最终通过弱分类器的linear blending(线性融合)得到强分类器

$\{\begin{array}{ll}G(x)& ={\alpha }_1\ast g_1(x)+{\alpha }_2\ast g_2(x)+{\alpha }_3\ast g_3(x)+...+{\alpha }_n\ast g_n(x)\\ 向量形式& =\alpha \cdot g(x)\end{array}$

---

3. 待解决问题:

---

1. 如何迭代生成若干$互不相同的g(x)$

---

2. 如何获得$n个\alpha$

回顾随机森林是如何集成的，每个弱学习器都是决策树，而且每个弱学习器权重都是1

---

而AdaBoost

---

1. 通过赋予样本不同的权重获得不同的 g(x)

---

2. 基分类器 g(x)大多使用 decision-stump 决策桩（相当于根节点只切分一下，相当于最多两层的决策树）

---

3. 我们通过修改数据的权重,使得本次训练的弱分类器在上次弱分类器做的不好的地方进行训练

---

2. 权重

什么是数据的权重 weight

---

回顾随机森林，它属于bagging思想，bagging的权重不就是bootstrap（放回式抽样，从样本集中随机抽一个样本，然后放回去，再抽一个，依次类推）

---

而对于AdaBoost，每个样本会有一个权重，训练集每个样本都会带着不同权重参与训练

权重与函数的关系

---

对于同一个算法

---

1. 训练集不同，生成的模型一定不同

---

2. 如果训练集相同，我们调整训练集中数据的权重，生成的模型也一定不同

---

对于同一个模型

---

1. 输入的数据权重不同，模型预测的权重正确率也一定不同，最终模型得分也不同

---

2. 可以通过调整输入数据的权重，让本来还不错的分类器（弱学习器）的权重正确率达到1/2

对于一个二分类模型，如果正确率是1%，那么是一个非常优先的模型，反着用的话相当于准确率为99%。而正确率是50%的话，那纯粹就是瞎蒙，最垃圾的模型。

---

对应到考试得分上，50%就是0分。而AdaBoost就是将判错（0分）的权重调大，让下一个弱学习器，重点关注这些，下次不要再错了。

---

这也是为什么明知50%是最垃圾，还是让权重准确率达到50%的原因

---

Adaboost 中的数据权重 Un

---

定义

---

$数据预测的错误率=(错误数据的个数)/(全部数据的个数)$

---

$数据预测的权重错误率=(预测错误数据的权重和)/(全部数据的权重和)$

---

举例

---

有一个标签集实际是 { + 1 ， + 1 ， + 1 ， + 1 ， − 1 } \{+1，+1，+1，+1，\textcolor{red}{-}1\} {+1，+1，+1，+1，−1}

---

我们训练出一个 $g_1(x)$的分类结果 { + 1 ， + 1 ， + 1 ， + 1 ， + 1 } \{+1，+1，+1，+1，\textcolor{blue}{+}1\} {+1，+1，+1，+1，+1}，很明显前面4个预测对了，最后一个错了

---

当所有数据的权重都为 1/5 时，错误率是多少?权重错误率是多少?

1. 因为错误率和权重错误率是两个东西，错误数据1个，一共5个，那么错误率就是1/5

---

2. 而权重错误率是错误样本的权重/全部数据权重，每条样本权重1/5，一共错了1条，全部数据权重就是5个五分之一，为$\frac{1/5}{1/5\ast 5}=1/5$

---

3. 因此，如果每条样本权重相同，数据预测错误率=权重错误率

---

当-1 的权重是 1/2，其余+1 是 1/8 的时候，权重错误率是多少?

$\frac{1/2}{1/8\ast 4+1/2\ast 1}=\frac{1/2}{1}=1/2=50\%$

---

只要正确的样本权重调小，错误的样本权重调大，就可以达到50%的权重错误率

1. AdaBoost初始，在训练集的每个数据背后都标注一个权重，初始权重为 1/N ，都一样，此时数据错误率等于权重错误率

---

2. 每一轮训练一个当前权重下权重错误率最低的 g(x)，注意此时还没有调权重

---

3. 迭代生成下一轮的权重，就是将刚刚训练完的g(x)权重错误率调成50%，然后开始新一轮训练

---

考虑一下 decision-stump，下一轮数据权重变了，训练出来的分类器内部会发生什么改变？——当然是新学习器了，因为前面也介绍过，相同数据集，不同权重就是一个新g(x)

具体实现流程

既然通过权重不同来训练弱分类器模型 gt(x)，那么我们每次找到 g(x)都应该使当前时刻权重正确率最大

---

目标

---

$g_t\leftarrow \underset{h\in H}{\mathrm{argmin}}(\sum _{n=1}^N{u}_n^{(t)}[Y_n\ne h(x_n)])$

$[Y_n\ne h(x_n)]$：表示真实和预测不同，也就是判错了，判错的样本所对应的权重，只需要去等于判对的权重就可以得到50%,(不懂的可以看下面《如何计算$U_n^{t+1}$》)

---

$g_{t+1}\leftarrow \underset{h\in H}{\mathrm{argmin}}(\sum _{n=1}^N{u}_n^{(t+1)}[Y_n\ne h(x_n)])$

---

现在我们根据$U_n^t$得到了当前权重下表现最好的弱分类器$g_t(x)$。接下来想要得到下一轮的$U_n^{t+1}$算法才能继续工作下去

---

如何计算$U_n^{t+1}$?

---

我们想要通过$U_n^{t+1}$训练弱分类器$g_{t+1}(x)$，想要通过$U_n^{t+1}$赋予$g_{t+1}(x)$在之前$g_t(x)$表现不好的地方得到补强

---

也就是说我们想要50%，也就是想要$\frac{{\sum }_{n=1}^N{u}_n^{(t+1)}[Y_n\ne g_t(x_n)]}{{\sum }_{n=1}^N{u}_n^{(t+1)}}=\frac{1}{2}=\frac{所有错误U_n^{t+1}}{所有错误U_n^{t+1}+所有正确U_n^{t+1}}$

---

就需要令判错的权重$所有错误U_n^{t+1}$等于判对的权重$所有正确U_n^{t+1}$,他俩相等，代入进去不就是二分之一吗。

---

举个例子：假设共7337条样本，$所有错误U_n^t=1126$，则判错权重为$\frac{1126}{7337}$。$所有正确U_n^t=6211$，判对权重为$\frac{6211}{7337}$

---

那么判错权重$\times$正确的样本数，判对权重$\times$错误样本数，就让他俩相等了

---

$U_n^{t+1}\leftarrow U_n^t\cdot 6211=\frac{1126}{7337}\cdot 6211=\frac{1126\cdot 6211}{7337}$

---

$U_n^{t+1}\leftarrow U_n^t\cdot 1126=\frac{6211}{7337}\cdot 1126=\frac{1126\cdot 6211}{7337}$

---

这就是前面说的，判错的乘较大的数6211，判对的乘较小的数1126，就可以让哥俩一样。

AdaBoost定义了一个scaling factor来做上面这件事

---

---

定义了一个${\nabla }_t$，错误的总权重和乘以它，正确的总权重和除以它

---

本质上和上面我们说的判错乘较大数，判对乘较小数的效果是一样的

---

设 A 为正确的总权重和，B 为错误的总权重和，$\epsilon$是错误率，也就是前面例子中的$\frac{1126}{7337}$:

---

有 $A\ast \epsilon =B\ast (1-\epsilon )$

---

总权重和 $C=\frac{A}{(1-\epsilon )}=\frac{B}{\epsilon }$

---

$A\ast \epsilon \ast \frac{A}{(1-\epsilon )}=B\ast (1-\epsilon )\ast \frac{B}{\epsilon }$

---

$\frac{A\ast \epsilon \ast A}{(1-\epsilon )}=\frac{B\ast (1-\epsilon )\ast B}{\epsilon }$

---

$A\ast \sqrt{\frac{\epsilon }{(1-\epsilon )}}=B\ast \sqrt{\frac{(1-\epsilon )}{\epsilon }}$

3. 为什么需要弱一点的树

砍树+抽样

---

---

首先AdaBoost的权重是对${\nabla }_t$求$ln$。因为ln是单调递增函数，错误率越高，权重就越高

---

如果是一颗完全生长树，很有可能在第一次学习就让错误权重降为0

---

那么对应的权重就是正无穷。会产生独裁效应，也就是没有后面模型的事了，第一个模型就完全学好了，这就偏离了集成学习的轨道

单独的一颗决策树，非常容易过拟合。不要沙雕的认为，既然一棵决策树就能学好的事情，还非要后面的模型干嘛。——就是怕过拟合！

---

因此我们需要进行剪枝等操作，让每颗树弱一些，给后面的模型留出更大的学习空间