xu_fu_yong的专栏

深度残差学习的在图像识别中的应用摘要层次更深的神经网络更难训练。 我们提出了一个残差的学习框架，以便于对比以前使用的网络深度更深的网络进行训练。 我们明确地将层重新组合成残差函数并将其用于输入，而不是学习未引用的函数。 我们提供全面的经验证据表明这些残差网络更容易优化，并且可以从显著增加的深度获得准确性。 在ImageNet数据集上，我们评估深度高达152层-残差网络 比VGG网更深8...

文章目录超参数概念什么是超参数，参数和超参数的区别？神经网络中包含哪些超参数？为什么要进行超参数调优？超参数的重要性顺序部分超参数如何影响模型性能？部分超参数合适的范围网络训练中的超参调整策略如何调试模型？为什么要做学习率调整?超参数概念什么是超参数，参数和超参数的区别？​ 区分两者最大的一点就是是否通过数据来进行调整，模型参数通常是有数据来驱动调整，超参数则不需要数据来驱动，而是在训练前或...

常见概率分布Bernoulli分布Bernoulli分布是单个二值随机变量分布, 单参数ϕ​\phi​ϕ​∈[0,1]控制,ϕ​\phi​ϕ​给出随机变量等于1的概率. 主要性质有:P(x)=px(1−p)1−x={p if x=1q if x=0P(x)=p^{x}(1-p)^{1-x}=\left\{\begin{array}{ll}{p} &a...

学习率学习率的作用​ 在机器学习中，监督式学习通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost 来估计模型的参数。学习率 (learning rate)，在迭代过程中会控制模型的学习进度。​ 在梯度下降法中，都是给定的统一的学习率，整个优化过程中都以确定的步长进行更新， 在...

EM算法EM算法基本思想​ 最大期望算法（Expectation-Maximization algorithm, EM），是一类通过迭代进行极大似然估计的优化算法，通常作为牛顿迭代法的替代，用于对包含隐变量或缺失数据的概率模型进行参数估计。​ 最大期望算法基本思想是经过两个步骤交替进行计算：​ 第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值​ 第二步是最大化（M...

特征值和特征向量1 特征值分解与特征向量特征值分解可以得到特征值(eigenvalues)与特征向量(eigenvectors)；特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。如果说一个向量v⃗\vec{v}v是方阵AAA的特征向量，将一定可以表示成下面的形式：Aν=λνA\nu = \lambda \nuAν=λνλ\lambdaλ为特征向量v⃗\...

SVM看了很多关于SVM的博客，但是常常只能保存书签之后看，有时候有的博客就突然没了，这里就作为搬运工总结一下之后自己看吧。主要内容来自于：支持向量机通俗导论（理解SVM的三层境界）分类标准的起源：Logistic回归线性回归给定数据集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, ...

文章目录线性判别分析（LDA）LDA思想总结图解LDA核心思想二类LDA算法原理LDA算法流程总结LDA和PCA区别LDA优缺点主成分分析（PCA）主成分分析（PCA）思想总结图解PCA核心思想PCA算法推理PCA算法流程总结PCA算法主要优缺点降维的必要性及目的KPCA与PCA的区别线性判别分析（LDA）LDA思想总结​ 线性判别分析（Linear Discriminant Analysi...

标量、向量、矩阵、张量之间的联系标量（scalar）一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。向量（vector）​一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵...

文章目录随机森林(RF)的原理bagging的原理bagging算法流程随机森林算法随机森林算法推广随机森林(RF)的原理集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。随机森林是集成学习中可以和梯度提升树GBDT分...

前言Digit Recognizer是一个Kaggle练习题。然后麻雀虽小，五脏俱全。为了优化Score，前前后后长了多个方法的和多次模型的改进，Accuracy score也从~0.96 -> 0.98-> 0.99 -> 到目前的1.0。这个代码正是获得test accuracy 100%的Notebook，仅供参考和交流。（当然这个notebook的框架也是站在前任...

损失函数什么是损失函数​ 损失函数（Loss Function）又叫做误差函数，用来衡量算法的运行情况，估量模型的预测值与真实值的不一致程度，是一个非负实值函数，通常使用$L(Y, f(x))​$来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。常见的损失函数​ 机器学习通过对算法中的目标函数进行不断求解优化，得到最终想要的结果。分...