Taoye | 玩世不恭的Coder

在手撕机器学习系列文章的上一篇，我们详细讲解了线性回归的问题，并且最后通过梯度下降算法拟合了一条直线，从而使得这条直线尽可能的切合数据样本集，已到达模型损失值最小的目的。在本篇文章中，我们主要是手撕Logistic回归，这个在李航老师的《统计学习方法》一书中也叫做为逻辑斯谛回归。听到回归一词，有的读者可能会想，上一篇线性回归求解的是拟合问题，这篇文章手撕的是Logistic回归，会不会也是一个拟合问题？只不过使用到的算法原理不同而已，而求解的问题是一致的？？？其实不然，Logistic回归模型是一种广义

《Machine Learning in Action》—— 浅谈线性回归的那些事手撕机器学习算法系列文章已经肝了不少，自我感觉质量都挺不错的。目前已经更新了支持向量机SVM、决策树、K-近邻（KNN）、贝叶斯分类，读者可根据以下内容自行“充电”（持续更新中）：《Machine Learning in Action》—— 剖析支持向量机，单手狂撕线性SVM： https://www.zybuluo.com/tianxingjian/note/1755051《Machine Learning in A

概率论，可以说是在机器学习当中扮演了一个非常重要的角色了。Taoye对概率论知识的掌握目前也还仅仅只是停留在本科期间所接触到的，而且还都已经忘了不少。快速的复习回顾一下之后，用来理解机器学习中的贝叶斯算法，还是足够的。手撕机器学习系列文章目前已经更新了支持向量机SVM、决策树、K-近邻（KNN），现在我们来玩玩贝叶斯算法，其他机器学习系列文章可根据自己需求来食用（持续更新中）：《Machine Learning in Action》—— 剖析支持向量机，单手狂撕线性SVM： https://www.z

《Machine Learning in Action》—— 女同学问Taoye，KNN应该怎么玩才能通关女同学问Taoye，KNN应该怎么玩才能通关？？？某问得，给这位妮子安排上！这篇是机器学习系列文章所涉及到的第六篇文章了，前面已经介绍过了支持向量机SVM以及决策树算法，一个躲在小房间里认真阅读过的读者应该对他们都有了一定的认识，算法的过程和原理也都大致了解了。这篇文章我们来看看K-近邻（KNN）算法，关于KNN算法，由于比较的简单，没有SVM那么复杂的公式和过程，所以会肝一篇文章来结束。更多机

说在前面： 前几天，公众号不是给大家推送了第二篇关于决策树的文章嘛。阅读过的读者应该会发现，在最后排版已经有点乱套了。真的很抱歉，也不知道咋回事，到了后期Markdown格式文件的内容就解析出现问题了，似乎涉及到Latex就会多多少少排版错乱？？？暂时也没什么比较好的解决办法，如果有朋友知道的可以联系下Taoye，长时间用Markdown + Latex码文已成习惯了，关于机器学习文章的内容，更好的阅读体验，大家可以跳转至我在Cmd Markdown平台发布的内容，也可前往我的掘金主页，阅读体验都是不错的，

《Machine Learning in Action》—— 小朋友，快来玩啊，决策树呦在上篇文章中，《Machine Learning in Action》—— Taoye给你讲讲决策树到底是支什么“鬼”主要讲述了决策树的理论内容，介绍了什么决策树，以及生成决策树时所需要优先选取的三种决策标准。有学习的过SVM，或阅读过Taoye之前写的几篇SVM内容的文章可以发现，决策树相对于SVM来讲要简单很多，没有太多且复杂的公式推导。我们在把之前的内容稍微回顾下：属性特征的信息增益越高，按道理来讲应当被优

《Machine Learning in Action》—— Taoye给你讲讲决策树到底是支什么“鬼”前面我们已经详细讲解了线性SVM以及SMO的初步优化过程，具体可看：《Machine Learning in Action》—— 剖析支持向量机，优化SMO《Machine Learning in Action》—— 剖析支持向量机，单手狂撕线性SVM关于SVM非线性相关的内容，我们留着下个星期来撕这篇文章我们先来看看决策树的内容，决策树相对于SVM来讲要简单不少，也没有多么复杂的公式。我理

《Machine Learning in Action》—— 剖析支持向量机，优化SMO薄雾浓云愁永昼，瑞脑销金兽。愁的很，上次不是更新了一篇关于支持向量机的文章嘛，《Machine Learning in Action》—— 剖析支持向量机，单手狂撕线性SVM。虽然效果还算不错，数据集基本都能够分类正确，模型训练效率的话也还说的过去，但这是基于我们训练样本数据集比较少、迭代次数比较少的前提下。假如说我们数据集比较大，而且还需要迭代不少次数的话，上一篇文章中使用到的SMO算法的效率可就不敢恭维了，训练

《Machine Learning in Action》—— 剖析支持向量机，单手狂撕线性SVM前面在写NumPy文章的结尾处也有提到，本来是打算按照《机器学习实战 / Machine Learning in Action》这本书来手撕其中代码的，但由于实际原因，可能需要先手撕SVM了，这个算法感觉还是挺让人头疼，其中内部太复杂了，涉及到的数学公式太多了，也涉及到了许多陌声的名词，如：非线性约束条件下的最优化、KKT条件、拉格朗日对偶、最大间隔、最优下界、核函数等等，天书或许、可能、大概就是这样的吧。记

print( "Hello，NumPy！" )学习痛苦啊，今天学，明天丢。这种天气，还是睡觉最舒服了。咱说归说，闹归闹，但还是得学才行啊。之前在学习的过程中一直都有记录笔记的习惯，但笔记质量可不敢恭维，大多都未曾整理，不过拿来复习倒是个不错的选择。自打接触Python以来，写的最多的就是爬虫了，什么网络小说啊，虚拟游戏币啊，考试题库啊之类的都有写过，也帮别人爬过不少网站公开数据。之前也整理过一篇爬虫相关的文章（太懒了，才一篇，之后有机会有时间，再整理出来吧）：网络爬虫之页面花式解析再之后的话