机器学习算法那些事

前言 线性回归算法是公众号介绍的第一个机器学习算法，原理比较简单，相信大部分人对线性回归算法的理解多于其他算法。本文介绍的线性回归算法包括最小二乘法和最大似然法，进而讨论这两种算法蕴含的一些小知识，然后分析算法的偏差和方差问题，最后总结全文。 ...

前言 当模型的复杂度达到一定程度时，则模型处于过拟合状态，类似这种意思相信大家看到个很多次了，本文首先讨论了怎么去理解复杂度这一概念，然后回顾贝叶斯思想（原谅我有点啰嗦），并从贝叶斯的角度去理解正则项的含义以及正则项降低模型复杂度的方法，最后总结全文。 ...

前言 上文介绍了正则化项与贝叶斯的关系，正则化项对应于贝叶斯的先验分布，因此通过设置参数的先验分布来调节正则化项。本文首先介绍了贝叶斯线性回归的相关性质，和正则化参数λ的作用，然后简单介绍了贝叶斯思想的模型比较，最后总结全文。 目录 1、后验参数分布和预测变量分布 2、正则化参数λ的作用 3、贝叶斯模型比较 4、总结 ...

前言 前几篇文章介绍了线性回归算法，线性分类模型分为判别式模型和生成式模型，本文首先简单复习了与算法相关的数学基础知识，然后分析各线性判别式分类算法，如最小平方法，Fisher线性判别法和感知器法，最后总结全文。 目录 1、相关的数学知识回顾 2、判别式模...

前言 上一篇文章介绍了线性判别模型，本文介绍线性生成模型——logistic回归模型。本文介绍logstic回归模型相关的知识，为了更好理解模型的决策边界函数，本文同时分析了多元变量的协方差对概率分布的影响。 目录 1、logistic回归模型的含义 2、logistic模型的决策边界函数分析 3、logistic模型的参数最优化 3、logistic回归模型与感知机模型的比较 ...