集成学习小介

BulletTech2021

于 2022-02-07 19:17:30 发布

阅读量1k

点赞数 1

分类专栏：数据分析文章标签：集成学习机器学习人工智能

本文链接：https://blog.csdn.net/BulletTech2021/article/details/122813422

版权

本文介绍了集成学习的概念及其三种常见方法：Voting Classifiers、Bagging（包括Pasting）和Boosting（包括AdaBoost和Gradient Boosting）。Voting通过聚合多个分类器的结果进行预测，Bagging通过随机抽样创建子数据集训练模型，Boosting则按顺序训练分类器以改进前者的错误。集成学习的优势在于高准确性和潜在的过拟合风险。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 前言

在机器学习中有一个常见且重要的概念——集成学习（Ensemble Learning），即通过构建多个机器学习器来完成学习任务。今天，我们将介绍集成学习的一些常见方法，如Voting Classifiers,Bagging和Boosting。

2 集成方法

2.1 Voting Classifiers

如下图所示，Voting Classifiers的基本原则就是基于相同的训练集，采用不同的模型算法去拟合数据，从而将最后的预测结果聚合取得最终的结果。

其代码实现如下所示：

## RandomForest, Logistic Regression and SVC 
## participate in ensemble learning
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

log_clf = LogisticRegression()
rnd_clf =  RandomForestClassifier()
svm_clf = SVC()
##aggregate three algorithms as Voting Classifier
voting_clf = VotingClassifier(
    estimators=[('lr',log_clf),('rf',rnd_clf),('svc',svm_clf )],
    voting= 'hard'
)

voting_clf.fit(X_tran,y_train)

训练结束后，可以查看每个分类器在测试集上的表现：

## Look at each classifier's accuracy on t

最低0.47元/天解锁文章