GBDT(梯度提升决策树)算法梳理

德胜coding

于 2019-04-07 20:14:17 发布

阅读量1.2k

点赞数

分类专栏： ML 文章标签： GBDT

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/nextthen/article/details/89073539

版权

本文详细介绍了GBDT(梯度提升决策树)算法，包括其基本思路、前向分步算法、负梯度拟合、损失函数、正则化以及优缺点。GBDT通过不断拟合损失函数的负梯度来逐步优化模型，适用于回归和分类问题。文章引用了李航的《统计学习方法》作为参考，探讨了GBDT在处理不同类型数据和应对异常值方面的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数是平方损失和zhi指数损失函数时，每一步优化是很简单的。但对一般函数而言，往往每一步优化并不那么容易。针对这一问题，提出梯度提升算法。这是利用最速下降法的近似方法，其关键是利用损失函数的负梯度在当前模型的值

$-[\frac{\delta L(y,f(x_{i}))}{\delta f(x_{i})}]_{f(x)=f_{m-1}(x)}$

作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

参考：

李航《统计学习方法》

前向分步算法

前向分步算法（forward stagewise algorithm）求解这一优化问题的想法是：因为学习的是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就可以简化优化的复杂度，具体地，每步只需优化如下损失函数：

$\underset{\beta,\gamma }{min}\sum_{i=1}^{N}L(y_{i},\beta b(x_{i};\gamma ))$

学习加法模型的前向分步算法如下：

输入：训练数据集
损失函数：
基函数集：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。