zrh_CSDN的博客

LeNet-5卷积神经网络模型 LeNet-5：是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数，如下图所示。 LeNet-5中主要有2个卷积层、2个池化层、3个全连接层3种连接方式卷积层 ...

 不妨采用最常见的均方差来度量损失。，首先求输出层W，b的梯度提取公共部分，令接着求第l层W，b的梯度有了每一层W，b的梯度值，就可以进行反向更新每一层的W,b。 ...

 Inception v2模型 　　一方面了加入了BN层，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯； 　　另外一方面学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，也加速计算；   　　使用3×3的已经很小了，那么更小的2×2呢？2×2虽然能使得...

2012年AlexNet做出历史突破以来，直到GoogLeNet出来之前，主流的网络结构突破大致是网络更深（层数），网络更宽（神经元数）。所以大家调侃深度学习为“深度调参”。那么解决上述问题的方法当然就是增加网络深度和宽度的同时减少参数，Inception就是在这样的情况下应运而生。 Inception v1模型Inception v1的网络，将1x1，3x3，5x5的conv和3x3的poo...

1×1的卷积核 卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的。一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个w去乘以原图像上的每一个像素点，相当于做了一个scaling 。1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比AlexNet更少的参数，达到了跟其一样的效果。 1×1卷积核的作用        那...

ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。 他们最好的网络包含了16个卷积/全连接层。网络的结构非常一致，从头到尾全部使用的是3x3的卷积和2x2的池化。 VGGNet不好的一点是它耗费更多计算资源，并且使用了更多的参数，导致更多的内存占用（...

AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将...

                  局部归一化的动机：在神经生物学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部控制，尤其当我们使用RELU的时候这种”侧抑制“很管用。 好处：有利于增加泛化能力，做了平滑处理，识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制，对局部神...

AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言，已经相当的出色。 AlexNet的网络结构示意一下：Alexnet网络中各个...

以最基本的批量梯度下降法为例来描述反向传播算法。输入: 总层数L，以及各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长α,最大迭代次数MAX与停止迭代阈值ϵ，输入的m个训练样本{(x1,y1),(x2,y2),...,(xm,ym)}输出：各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b。　  1) 初始化各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b的值为一个随机值。 ...