一文速学数模-分类模型(二)决策树(Decision Tree）算法详解及python实现

目录

一、决策树概述

二、工作原理及特点

三、决策树的构造

四、信息增益

五、决策树实现

1.构造数据集

2.计算熵值

3.按特征划分数据

4.选择最优划分算法

5.构造决策树

总结

一、决策树概述

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。

分类树（决策树）是一种十分常用的分类方法。他是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。