greatcoder的博客

Linear Regression线性回归监督学习linear regression如何去选择 θi\theta_{i}θi​?梯度梯度下降法如何更新θ\thetaθ随机梯度下降法 SGD函数对向量、矩阵的梯度（向量、矩阵求导）矩阵化计算线性回归与极大似然估计的关系（to be continued）线性回归监督学习Features : input variables,x;Target : output vaiable,y;Training example:( x(i),y(i)x^{(i)},

逻辑回归逻辑回归概念sigmoid 函数hypothesis条件概率在边界的情况概率公式如何确定参数θ\thetaθ极大似然估计取对数牛顿法多分类逻辑回归概念和逻辑回归相似，不过预测结果是离散的值二分类问题：y∈{0,1}y\in\{0,1\}y∈{0,1},0代表负样本，1代表正样本y(i)∈{0,1}y^{(i)}\in\{0,1\}y(i)∈{0,1}称为训练样本的标签sigmoid 函数g(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1​

正则化背景-过拟合线性回归正则化 Regularized Linear Regression更通用的一个定义：梯度下降法规范解 Normal equation逻辑回归正则化MLE MAP背景-过拟合由图中可以看出，当只有一次项的时候，拟合程度不够Underfitting，当存在五次方项的时候就存在过拟合现象，假设函数很好的fit给定的数据，但是不利于数据的预测解决过拟合问题的方案：1、减少特征值的数量2、正则化：不改变特征值的数量，减小他的系数θj\theta_jθj​以削弱影响当我们有大

拉格朗日乘子法 Lagrange Multiplier举个栗子：假如有方程x2y=3x^2y=3x2y=3是下图等高线中的一条：梯度向量:我们相求上面的点到原点的最短距离;引入同心圆，可以看做函数f(x,y)=x2+y2f(x,y) = x^2 + y^2f(x,y)=x2+y2的等高线这是等高线的发线：在圆与曲线相切的时候，梯度向量平行;要求函数 f 在 g 约束下的极值问题：minmaxfs.t.g=0minmax f \\ s.t. g = 0minmaxfs.t.g=

EM算法凸函数如果f可微，一阶导二阶导半正定Jensen 不等式推导，归纳法当N=1时，显然成立N=2时，由凸函数定义,f(λ1x1+λ2x2)≤λ1f(x1)+λ2f(x2)f(\lambda_1x_1 + \lambda_2x_2) \leq \lambda_1f(x_1) + \lambda_2f(x_2)f(λ1​x1​+λ2​x2​)≤λ1​f(x1​)+λ2​f(x2​)当N >= 3时，假设当N=k-1时成立f(∑i=1k−1λixi)≤∑i=1k−1λif

高斯判别分析 GDA多元高斯分布正态分布X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X∼N(μ,σ2)，他的概率密度函数为，φ(x)\varphi(x)φ(x)φ(x)=1σ2πe−(x−μ)22σ2\varphi(x) = \frac{1}{\sigma\sqrt{2\pi} }e^{\frac{-(x-\mu)^2}{2\sigma^2} }φ(x)=σ2π​1​e2σ2−(x−μ)2​假设变量XiX_iXi​之间相互独立且 Xi∼N(μi,σi2)X_i\sim N(\mu_i

机器学习 SVM

聚类Clustering机器学习 聚类ClusteringK-Means K均值分类K-Means 算法K-Means 的loss functionK-mean 的收敛机器学习 聚类Clustering将无标签的数据进行分类，一个好的聚类应满足：簇内相似度高簇间相似度低flat or partitional clustering 扁平的聚类：各分类之间相互独立hierarchical clustering 层次式聚类K-Means K均值分类给定一系列的数据点X={x1,x2,xN}(x