ACM_hades的博客

一、词袋模型Bag-of-words model (BoW model) 最早出现在自然语言处理和信息检索领域.。该模型忽略掉文本的语法和语序等要素，将其仅仅看作是若干个词汇的集合，将文档中每个单词的出现都视为是独立的。词袋模型能够把一段文字或一个文档转化为向量表示，它不考虑句子中单词的顺序，只考虑词表（vocabulary）中单词在这个句子中的出现次数。具体的说，词袋模型将每段文字或文档都...

一、贝叶斯参数估计前导篇：【机器学习】最大似然估计与最大后验估计这里先回顾一下最大后验估计法：最大后验估计法，通过最大化参数θθθ的后验分布来求出估计参数θ^\hat{θ}θ^ :θ^=argmax⁡θ⁡P(θ∣x)=argmax⁡θ⁡P(x∣θ)∗P(θ)\hat{θ}=arg\max_θ⁡P(θ|x)=arg\max_θ⁡P(x|θ)*P(θ)θ^=argθmax​⁡P(θ∣x...

一、一些概率公式联合概率：假设有随机变量AAA和BBB，此时P(A=a,B=b)P(A=a,B=b)P(A=a,B=b)用于表示A=aA=aA=a且B=bB=bB=b同时发生的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。边缘概率：P(A=a)P(A=a)P(A=a)或P(B=b)P(B=b)P(B=b)这类仅与单个随机变量有关的概率称为边缘概率:P(A=a)=∑bP(A=a,...

参考链接提升方法理论推导:https://blog.csdn.net/ACM_hades/article/details数据链接:https://github.com/WenDesi/lihang_book_algorithm/blob/master/data代码数据集：我们选择MNIST数据集进行实验，它包含各种手写数字(0-9)图片，图片大小28*28。MNIST数据集本身有10个类...

一、神经网络学习算法的本质当我们搭建好一个神经网络后，无论在什么应用场合，我们的目标都是：将网络的权值和偏置都变成一个最好的值，这个值可以让我们的输入得到理想的输出。可能大家会觉的神经网络架构很非常神秘和复杂，其实任何一个神经网络架构都是一个多层复合的复合函数，我们可以将它们表示为：f(x,w,b)f(x,w,b)f(x,w,b),其中x是输入，www是权值，bbb为偏置。我们的目标就变成...

链接前导篇：【机器学习】聚类算法之密度聚类(DBSCAN)前导篇：【机器学习】密度聚类算法之OPTICS参考链接：https://hdbscan.readthedocs.io/en/latest/how_hdbscan_works.htmlHDBSCAN API 使用参考链接：https://hdbscan.readthedocs.io/en/latest/api.html一、概述...

一、概述前篇：聚类算法之密度聚类(DBSCAN)：在DBSCAN算法中，有两个初始参数ϵϵϵ(邻域半径)和minPtsminPtsminPts(邻域最小样本数)需要手动设置，并且聚类的结果对这两个参数的取值非常敏感，不同的取值将产生不同的聚类结果。为了克服DBSCAN算法这一缺点，提出了OPTICS算法（Ordering Points to identify the clustering ...

一、概述一般基于距离的聚类算法(如K-Means)的聚类结果是球状的簇，当数据集中的聚类结果是非球状结构时，基于距离的聚类算法的聚类效果并不好。与基于距离的聚类算法不同的是，基于密度的聚类算法可以发现任意形状的聚类。在基于密度的聚类算法中，通过在数据集中寻找被低密度区域分离的高密度区域，将分离出的高密度区域作为一个独立的类别。DBSCAN（Density-Based Spatial Cl...

一、原始问题问题描述:min⁡x⁡f(x)\min_x⁡f(x)xmin​⁡f(x)s.t.hi(x)=0,i=1,2…,mgj(x)≤0,j=1,2….,ns.t. \quad h_i (x)=0,i=1,2…,m\\g_j (x)≤0,j=1,2….,ns.t.hi​(x)=0,i=1,2…,mgj​(x)≤0,j=1,2….,n其中x∈R^d.引入拉格朗日乘子λ=(λ1,λ2,...

一、无约束优化问题首先考虑一个不带任何约束的优化问题：min⁡x⁡f(x)\min_x⁡f(x)xmin​⁡f(x) 其中x∈Rdx∈R^dx∈Rd根据Fermat定理，直接求解梯度等于0的方程：∇xf(x)=0∇_xf(x)=0∇x​f(x)=0这个方程的解叫做函数f(x)f(x)f(x)的无条件极值，可能有多个，最小的就是f(x)f(x)f(x)的最小值。下面的推导中，我们把上面方程...

一、些基本定义线性性：所谓的线性性就是加分和数乘。距离：距离的定义必须满足如下三个条件：非负性：d(x,y)≥0,x=yd(x,y)≥0,x=yd(x,y)≥0,x=y时等号成立。对称性：d(x,y)=d(y,x)d(x,y)=d(y,x)d(x,y)=d(y,x)三角不等式：d(x,y)+d(y,z)≥d(x,z)d(x,y)+d(y,z)≥d(x,z)d(x,y)+d(y,z)≥...

变换：假设xxx为n维列向量，yyy维m维列向量，AAA维m×n的矩阵。有下面公式成立：Ax=yAx=yAx=y在上面式子中，我们可以将矩阵AAA看作是Rn→RmR^n→R^mRn→Rm的一个函数(变换)，他将n维向量空间中的向量(xxx)映射到m维向量空间中(yyy)。RnR^nRn为函数的定义域，RmR^mRm为函数的值域展开：x=[x1,x2,…,xn]x=[x_1,x_2,…,x_...

基本说明矩阵求导无非就是：一个矩阵里的元素对另一个矩阵里的元素进行对应求导，只要符合一些规则而已;这些规则就是：分子布局(Numerator layout)：即分子为列向量，分母为行向量分母布局(Denominator layout)：即分子为行向量,分母为列向量分子布局(Numerator layout)假设：x,y为常数x⃗=[x1,x2,…,xn]T\vec{x}=[x_...

一、逻辑回归模型要说逻辑回归，我们得追溯到线性回归模型，线性回归是对于多维空间中的样本点，用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示：线性回归用来对连续值结果进行预测，现在我们需要处理的是分类问题，这里主要讨论二分类问题，可以推广导多分类问题中去。将线性回归推广到分类问题最直接的想法是：线性回归预测出连续值结果，那么如果我们在线性回归的基础上设定一个阈值，将线性回归输出结果...

一、线性回归模型概述线性回归模型：简单的来说就是在样本空间中的一条直线或者一个平面或者更高维的超平面，并且我们要使得预测值与真实值之间的误差最小化。三维样本空间如下图：二维样本空间：二、线性回归模型给定训练集D=(x1,y1),(x2,y2),…,(xn,yn)D={(x_1,y_1 ),(x_2,y_2 ),…,(x_n,y_n)}D=(x1​,y1​),(x2​,y2​),…...

一、牛顿法回顾上一篇牛顿法(Newton Method)中介绍了牛顿法的基本思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。但是牛顿法也有一个缺点就是：求解Hessian矩阵复杂度比较大1、下面是第k+1步的牛顿迭代：对于函数f(X)f(X)f(X)，其中X=[x1,x2,…,xn]TX=[x_1,x_2,…,x_n ]^TX=[x1​,x2​,…,xn​]T为向量。在...

一、牛顿法主要有两个应用方向：求方程的根求函数最优化求解二、求方程的根：假设我们现在要求方程f(x)=0f(x)=0f(x)=0的根x∗x^*x∗：第一步：对f(x)f(x)f(x)进行一阶泰勒展开：f(x)≈f(x0)+f′(x0)(x−x0)f(x)≈f(x_0 )+f'(x_0 )(x-x_0)f(x)≈f(x0​)+f′(x0​)(x−x0​)g(x)=...