通俗易懂的机器学习——集成学习

已于 2023-04-15 15:04:40 修改
阅读量1.6k 收藏 2
点赞数
分类专栏： 通俗易懂的机器学习 文章标签： python 算法 机器学习
于 2021-11-26 21:09:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DuLNode/article/details/121567549
版权

集成学习

普通决策树与随机森林的对比

生成circles数据集

X,y = datasets.make_moons(n_samples=500,noise=0.3,random_state=42)
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

画图函数

def plot_decision_boundary(model, X, y):
    x0_min, x0_max = X[:,0].min()-1, X[:,0].max()+1
    x1_min, x1_max = X[:,1].min()-1, X[:,1].max()+1
    x0, x1 = np.meshgrid(np.linspace(x0_min, x0_max, 100), np.linspace(x1_min, x1_max, 100))
    Z = model.predict(np.c_[x0.ravel(), x1.ravel()]) 
    Z = Z.reshape(x0
最低0.47元/天 解锁文章
18. 机器学习——集成学习
qq_32468785的博客
11-13 435
机器学习面试题汇总与解析——集成学习 本章讲解知识点 什么是集成学习 AdaBoost 梯度提升树(Gradient Boosting Decision Tree, GBDT) 随机森林(Random Forest，简称RF) XGBoost LightGBM 本专栏适合于Python已经入门的学生或人士，有一定的编程基础。 本专栏适合于算法工程师、机器学习、图像处理求职的学生或人士。 本专栏针对面试题答案进行了优化，尽量做到好记、言简意赅
12. 机器学习——评价指标
qq_32468785的博客
11-13 281
在机器学习中，评价指标用于衡量模型的性能和预测结果的准确度。选择适当的评价指标取决于任务的性质，比如分类、回归或聚类等。TPFPFNTN分别为真阳性假阳性和假阴性真阴性。真阳性（True Positive，TP）：标签为正类，预测为正类；假阳性（False Positive，FP）：标签为负类，预测为正类；假阴性（False Negative，FN）：标签为正类，预测为负类；真阴性（True Negative，TN）：标签为负类，预测为负类；
14、数据分析--集成学习（一）
剑指苍天
07-11 537
集成学习（核心算法，算法中精度最高）： ​ 概念： ​ 将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)（弱学习器准确率不高，整合起来能得到一个强的学习器，准确率也会提高） ​ 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升 ​ 常见的集成学习思想有：Bagging Boosting Stacking ​ ​ 作用
集成学习
八千鸟的博客
06-09 1018
集成学习，又称多分类器系统，顾名思义，就是将多个分类器组合成一个强分类器，而多个分类器可以从训练不同的样本中产生。 因此，有一种有放回的采样方法（Bootstrap Samples）来生成不同的训练样本。 使用这种采样方法时，当n趋近正无穷时，可推导出抽到的概率为2/3。 下图是集成学习的基本流程： 下面介绍两种集成学习的方式—Baggin和Boosting 以Bagging中Stacking...
集成学习之 AdaBoosting-1带权数据集
weixin_46007132的博客
05-15 461
AdaBoosting 基本思想 首先了解一下AdaBoosting 。这是一个把多个弱分类器（分类精度略高于50%）叠加成为强学习器（分类精度高于90%）的算法。 其步骤如下： 初始化训练数据的权值。 训练弱分类器。如某个训练样本能被弱分类器准确分类，那么在构造下一个训练集时，其对应的权值减小。若被错误分类，那么权重增大。权值更新过的训练集会被用于训练下一个分类器。 组合所有的弱分类器为一个强分类器。加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的
集成学习（一）
曾经沧海难为水
03-13 2409
集成学习通过构建并结合多个学习器来完成学习任务。集成学习通过将多个学习器进行结合，常获得比单一学习器显著优越的泛化性能。 　　根据个体学习器的生成形式，目前的集成学习方法大致分成两类：个体学习器之间存在强依赖关系，必须串行生成的序列化方法。个体之间不存在强依赖关系，可以同时生成的并行化方法。前者的代表是Boosting，后者的代表是bagging和随机森林。 　　Boosting： 　　（1
集成学习（超系统全面）②
yanglee0
04-02 423
在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。 集成学习的主要思想是：三个臭皮匠，顶个诸葛亮。 集成学习在各个规模的数据集上都有很好的策略。 数据集大：划分成多个小数据集，学习多个模型进行组合 数据集小：利用Bo
机器学习——集成学习
最新发布
2301_82143894的博客
03-26 442
集成学习就像“团队作战”，通过组合多个模型的智慧，弥补单一模型的短板，达到更高的准确性和稳定性。它不是靠一个模型单打独斗，而是把多个模型（称为“基学习器”或“弱学习器”）组合起来，综合它们的预测结果，得到一个更强大、更准确的整体模型。我来给你通俗易懂地解释一下“集成学习”（Ensemble Learning）是什么，顺便举些例子帮你理解，还会联系到之前的模型偏差问题，让它更贴近你的需求。Boosting：你先猜一次，错了后请个专家重点分析你错的地方，再猜，再请另一个专家修正，最后综合。
【机器学习】——【线性回归模型】——详细【学习路线】
小李很执着的博客
06-18 4282
线性回归是机器学习中最基本且广泛应用的模型之一，通过找到数据之间的线性关系来进行预测和解释。线性回归的理论基础、数学原理、实现方法及应用案例，全面掌握这一模型。通过最小二乘法估计参数，使用矩阵运算简化计算，结合微积分和统计学概念，线性回归模型在经济学、工程学、社会科学等领域有广泛应用。
集成学习代码
07-12
集成学习相关代码，包含python和R代码两种 初学者可以看一下
集成学习中的四个常用模型代码实现
07-11
总结了集成学习的三种常用框架，从sklearn库中导入函数，举例实现了Adaboost，xgboost，RandomForest，Stacking四个模型。
ML实验：集成学习
哩嘤的博客
03-27 464
一．实验题目 1.利用集成学习方法对所给数据进行分类判定，比对准确率。 二.算法分析 1.集成学习主要分两种方法，Bagging,Adaboost,本次实验，我采用Bagging算法，算法思想即从大小为n的原始数据集D中，分别独立随机地抽取个数据（ 代码： clear; tic; load Data-Ass2.mat; x=2000;%..... y=500;%...... for j=
ML - 集成学习 Code
小田的笔记簿
04-03 482
文章目录手动实现集成学习使用 Hard VotingClassifier使用 Soft Voting ClassifierBagging 和 Pastingoob并行化处理（n_jobs）随机采样 bootstrap_features随机森林Extra-Trees集成学习解决回归问题BoostingAdaBoostingGradient BoostingBoosting 解决回归问题 import numpy as np import matplotlib.pyplot as plt from skl
DataWhale-树模型与集成学习-Task02-Cart分类树代码实现-202110
sinat_36892485的博客
10-17 304
助教老师实现了Cart回归树，在老师代码的基础上，实现了Cart分类树，代码如下： import numpy as np def Gini(y): gn=1.0 n=y.shape[0] for i in np.unique(y): gn=gn-(np.sum(y==i)/n)**2 return gn def argmax(y): l=sorted([(np.sum(y==i),i) for i in np.unique(y)],re...
机器学习——随机森林算法、极端随机树和单颗决策树分类器对手写数字数据进行对比分析
张小鱼的博客
05-29 2845
随机森林也是基于决策树的算法，只不过是利用集成的思想来提升单颗决策树的分类性能。主要特点是由于随机选择样本和特征，所以不容易陷入过拟合。随机森林算法的主要步骤从样本集中用Bootstrap随机选取n个样本，并从所有属性中随机选取K个属性，选择最佳分割属性作为节点建立分类器（CART，SVM等）重复以上m次，即建立了m个分类器，并通过投票表决结果，决定数据属于哪一类。随机森林是一种集成学习算法，它将许多决策树组合在一起来提高分类性能。
决策树、随机森林、极端随机树（ERT）
ZNJIAYOUYA的博客
02-26 3839
决策树、随机森林、极端随机树（ERT）
ExtraTree|GBDT|XGBoost模型原理
m0_53062159的博客
10-13 1287
ExtraTree、GBDT 和 XGBoost 都是基于决策树的算法。ExtraTree属于Bagging（装袋法）方法，GBDT和XGBoost则属于Boosting（提升树）方法，通过逐步优化残差（GBDT使用一阶导数，XGBoost结合了一阶和二阶导数）来生成树。
通俗易懂的机器学习笔记西瓜书
03-08
### 易于理解的《机器学习》（西瓜书）笔记 #### 决策树概述 决策树是一种基于树形结构进行决策的监督学习方法。通过一系列的条件判断，最终到达叶子节点完成分类或回归任务[^1]。 #### 构建决策树的过程 构建一棵决策树是从根节点开始，依据某种特征选择准则不断分裂数据集，创建新的分支直至满足特定终止条件为止。这一过程可以采用递归来实现，使得逻辑清晰明了[^5]。 #### 特征选择的重要性 为了使生成的决策路径尽可能纯净，在每一步都需要挑选最优划分属性。常用的衡量指标有信息增益、基尼指数等，它们帮助确定哪个特性最有利于区分不同类别的样本。 #### 防止过拟合的方法——集成学习之随机森林 单独的一棵决策树可能因为训练过程中偶然因素而变得复杂度过高从而导致过拟合现象发生；为此可以通过建立多个CART(Classification And Regression Trees)并行工作来提高稳定性与准确性。具体做法是在每次抽样时引入一定量噪声干扰以及限制单棵树的最大深度等方式降低个体差异带来的影响[^4]。 #### 偏差-方差权衡原理简介 当评价某个算法的好坏时不仅要考虑其平均表现还要关注波动情况。“偏差-方差分解”理论为我们提供了一个框架用于分析模型误差来源，并指导如何调整参数设置达到最佳效果[^2]。 #### 线性模型的优势特点 尽管非线性关系普遍存在但在很多实际应用场景中简单的线性假设依然能够取得不错的结果。这类模型具备计算效率高、易于理解和解释性强等特点特别适合初学者入门练习使用[^3]。 ```python from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier, plot_tree import matplotlib.pyplot as plt # 加载鸢尾花数据集 data = load_iris() X, y = data.data, data.target # 创建并训练决策树模型 clf = DecisionTreeClassifier(random_state=0) clf.fit(X, y) plt.figure(figsize=(12,8)) plot_tree(clf, filled=True, feature_names=data.feature_names, class_names=data.target_names); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值