AdaBoost第m轮弱分类器的样本权重与第m-1轮的强分类器之间的关系证明

☞ ░ 前往老猿Python博客 ░ https://blog.csdn.net/LaoYuanPython

在这里插入图片描述

一. AdaBoost概述

AdaBoost从弱学习算法出发,通过多轮迭代,反复学习,得到一系列弱分类器(又称为基本分类器),然后组合这些弱分类器,构成一个强分类器,具体算法和原理请参考《提升方法AdaBoost自适应提升算法(https://blog.csdn.net/LaoYuanPython/article/details/148452847)》。

二、AdaBoost中的权重更新

为了便于后文的理解,将AdaBoost算法中涉及的相关符号在此重新介绍一下:

  • w m , i : w_{m,i}: wm,i m m m轮第 i i i个样本的权重
  • Z m Z_m Zm:第m轮的归一化因子(使权重和为1)
  • α m \alpha_m αm:是弱分类器 G m ( x ) G_m(x) Gm(x)的权重
  • y i ∈ { − 1 , + 1 } y_i \in \{-1,+1\} yi{1,+1}是真实标签
  • G m ( x ) G_m(x) Gm(x):第 m 个弱分类器
  • F m − 1 ( x ) F_{m-1}(x) Fm1(x):前 m-1 个弱分类器的加权组合,即第 m 次迭代之前的强分类器
  • α m \alpha_m αm:第 m 个弱分类器的权重
  • e m e_m em :第m轮迭代的分类类误差率记为
  • exp(x):指数函数 e x e^x ex

AdaBoost的样本权重更新遵循以下递推关系:

公式 1 : w m + 1 , i = w m , i Z m ⋅ e − α m y i G m ( x i ) 公式1:w_{m+1,i} = \frac{w_{m,i}}{Z_m} \cdot e^{-\alpha_m y_i G_m(x_i)} 公式1wm+1,i=Zmwm,ieαmyiGm(xi)

第m轮迭代后得到的强分类器为 F m ( x ) F_m(x) Fm(x),从提升算法可知 :
F m ( x ) = F m − 1 ( x ) + α m G m ( x ) F_m(x) = F_{m-1}(x) + \alpha_m G_m(x)\\[10pt] Fm(x)=Fm1(x)+αmGm(x)

三、样本权重与第m-1轮的强分类器关系分析

推导 w m , i w_{m,i} wm,i F m − 1 ( x i ) F_{m-1}(x_i) Fm1(xi) 之间的关系:

  1. 在第 m m m 次迭代中,样本 x i x_i xi 的权重 w m , i w_{m,i} wm,i 是根据第 m − 1 m-1 m1 次迭代的权重 w m − 1 , i w_{m-1,i} wm1,i 和当前弱分类器 G m − 1 ( x ) G_{m-1}(x) Gm1(x) 的预测结果更新的:
    w m i = w m − 1 ( i ) ⋅ exp ⁡ ( − α m − 1 y i G m − 1 ( x i ) ) Z m − 1 w_{mi} = \frac{w_{m-1}(i) \cdot \exp(-\alpha_{m-1} y_i G_{m-1}(x_i))}{Z_{m-1}} wmi=Zm1wm1(i)exp(αm1yiGm1(xi))

  2. 递归推导 w m , i w_{m,i} wm,i w m − 2 , i w_{m-2,i} wm2,i之间的关系
    在第 m − 1 m-1 m1 次迭代中,样本 x i x_i xi 的权重 w m − 1 , i w_{m-1,i} wm1,i 是根据第 m − 2 m-2 m2 次迭代的权重 w m − 2 , i w_{m-2,i} wm2,i 和当前弱分类器 G m − 2 ( x ) G_{m-2}(x) Gm2(x) 的预测结果更新的:
    w m − 1 ( i ) = w m − 2 ( i ) ⋅ exp ⁡ ( − α m − 2 y i G m − 2 ( x i ) ) Z m − 2 w_{m-1}(i) = \frac{w_{m-2}(i) \cdot \exp(-\alpha_{m-2} y_i G_{m-2}(x_i))}{Z_{m-2}} wm1(i)=Zm2wm2(i)exp(αm2yiGm2(xi))
    w m − 1 ( i ) w_{m-1}(i) wm1(i) 代入 w m i w_{mi} wmi 的表达式中:
    w m i = ( w m − 2 ( i ) ⋅ exp ⁡ ( − α m − 2 y i G m − 2 ( x i ) ) Z m − 2 ) ⋅ exp ⁡ ( − α m − 1 y i G m − 1 ( x i ) ) Z m − 1 w_{mi}= \frac{\left( \frac{w_{m-2}(i) \cdot \exp(-\alpha_{m-2} y_i G_{m-2}(x_i))}{Z_{m-2}} \right) \cdot \exp(-\alpha_{m-1} y_i G_{m-1}(x_i))}{Z_{m-1}} wmi=Zm1(Zm2wm2(i)exp(αm2yiGm2(xi)))exp(αm1yiGm1(xi))
    简化后:
    w m i = w m − 2 ( i ) ⋅ exp ⁡ ( − α m − 2 y i G m − 2 ( x i ) − α m − 1 y i G m − 1 ( x i ) ) Z m − 2 Z m − 1 w_{mi} = \frac{w_{m-2}(i) \cdot \exp(-\alpha_{m-2} y_i G_{m-2}(x_i) - \alpha_{m-1} y_i G_{m-1}(x_i))}{Z_{m-2} Z_{m-1}} wmi=Zm2Zm1wm2(i)exp(αm2yiGm2(xi)αm1yiGm1(xi))

  3. 递归推导 w m , i w_{m,i} wm,i w 1 , i w_{1,i} w1,i之间的关系
    继续上述步骤过程,直到右边等式只有 w 1 , i w_{1,i} w1,i
    w m i = w m − 3 ( i ) ⋅ exp ⁡ ( − α m − 3 y i G m − 3 ( x i ) − α m − 2 y i G m − 2 ( x i ) − α m − 1 y i G m − 1 ( x i ) ) Z m − 3 Z m − 2 Z m − 1 w_{mi} = \frac{w_{m-3}(i) \cdot \exp(-\alpha_{m-3} y_i G_{m-3}(x_i) - \alpha_{m-2} y_i G_{m-2}(x_i) - \alpha_{m-1} y_i G_{m-1}(x_i))}{Z_{m-3} Z_{m-2} Z_{m-1}} wmi=Zm3Zm2Zm1wm3(i)exp(αm3yiGm3(xi)αm2yiGm2(xi)αm1yiGm1(xi))
    ⋮ \vdots
    w m i = w 1 ( i ) ⋅ exp ⁡ ( − ∑ j = 1 m − 1 α j y i G j ( x i ) ) Z 1 Z 2 ⋯ Z m − 1 w_{mi} = \frac{w_1(i) \cdot \exp \left( -\sum_{j=1}^{m-1} \alpha_j y_i G_j(x_i) \right)}{Z_1 Z_2 \cdots Z_{m-1}} wmi=Z1Z2Zm1w1(i)exp(j=1m1αjyiGj(xi))

  4. F m − 1 ( x i ) F_{m-1}(x_i) Fm1(xi) 代入上述公式
    F m − 1 ( x i ) = ∑ j = 1 m − 1 α j G j ( x i ) F_{m-1}(x_i) = \sum_{j=1}^{m-1} \alpha_j G_j(x_i) Fm1(xi)=j=1m1αjGj(xi)
    得到:
    w m i = w 1 ( i ) ⋅ exp ⁡ ( − y i F m − 1 ( x i ) ) Z 1 Z 2 ⋯ Z m − 1 w_{mi} = \frac{w_1(i) \cdot \exp(-y_i F_{m-1}(x_i))}{Z_1 Z_2 \cdots Z_{m-1}} wmi=Z1Z2Zm1w1(i)exp(yiFm1(xi))
    即:
    w m i = w 1 ( i ) ⋅ e − y i F m − 1 ( x i ) Z 1 Z 2 ⋯ Z m − 1 w_{mi} = \frac{w_1(i) \cdot e^{-y_i F_{m-1}(x_i)}}{Z_1 Z_2 \cdots Z_{m-1}} wmi=Z1Z2Zm1w1(i)eyiFm1(xi)

根据提升算法,以上公式中:

  • w 1 , i w_{1,i} w1,i初始化为1/N
  • 在第m(m>1)轮迭代时,可以根据公式1计算出该轮迭代的权值,并根据分类误差率 e m e_m em得到弱分类器的系数α
  • z m z_m zm为归一化因子,由算法可知,其值与本轮迭代的权值 w m 、 α m 、 G m ( x i ) 和实际标签值 y i w_m、α_m、G_m(x_i)和实际标签值y_i wmαmGm(xi)和实际标签值yi相关,对每轮迭代来说是一个常量,因此可以说: w m i 的值与 e − y i F m − 1 ( x i ) w_{mi}的值与e^{-y_i F_{m-1}(x_i)} wmi的值与eyiFm1(xi)成正比,记为:
    w m i ∝ e − y i F m − 1 ( x i ) w_{mi} ∝ e^{-y_i F_{m-1}(x_i)} wmieyiFm1(xi)
四、小结

本文介绍了AdaBoost提升算法第m轮弱分类器的样本权重与第m-1轮的强分类器之间的关系,并通过算术推导进行了证明。通过推导可以确认 w m i w_{mi} wmi 和前 m − 1 m-1 m1 次迭代的强分类器 F m − 1 ( x i ) F_{m-1}(x_i) Fm1(xi) 存在正比例关系,这个关系对于利用AdaBoost的损失函数求弱分类器的权重值非常有用。

更多人工智能知识学习过程中可能遇到的疑难问题及解决办法请关注专栏《零基础机器学习入门》及付费专栏《机器学习疑难问题集》后续的文章。

写博不易,敬请支持:

如果阅读本文于您有所获,敬请点赞、评论、收藏,谢谢大家的支持!

关于老猿的付费专栏

  1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程,对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》;
  2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理,对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》;
  3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏,是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合,相关资料基本上都是老猿反复研究的成果,有助于OpenCV-Python初学者比较深入地理解OpenCV,对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录
  4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容,包括爬虫入门的基础知识,以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习,第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁,可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏:Python基础教程目录)从零开始学习Python。

如果有兴趣也愿意支持老猿的读者,欢迎购买付费专栏。

老猿Python,跟老猿学Python!

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LaoYuanPython

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值