AI小作坊 的博客

BP 神经网络信号前向后向传播示意图主要参考博文 BP神经网络后向传播算法 本文主要分析下面的三层神经网络的信号传播，两个输入，两个隐层，一个输出网络中每个紫色模块是一个神经元，它包括信号输入求和，求和后的信号再经过激活函数处理（一般是非线性激活函数），得到输出 下面开始训练网络的流程，训练网络首先需要训练数据，对于我们这里的网络，训练数据为若干组 （x1,x2）及对应的期望输出 z 。我们首先

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftICML 2015本文主要是对网络层的输入分布做归一化（ each training mini-batch）来提高训练速度，有一定的 Dropout 效果。1 Introduction 深度学习在各个领域进展都很快。

CVPR 2015本文针对 ILSVRC14 提出了一个名叫 Inception 的深度卷积网络架构，主要是通过充分利用网络内的计算资源来提升网络性能，具体是通过在保持计算量的同时来增加网络的宽度和深度来实现的。 1 Introduction 最近三年，由于深度学习的发展，更多CNN网络的提出，导致图像识别和目标检测取得很大进展。这其中既有更好的硬件、更大的数据库，更大的模型等因素，但是更有更

Very Deep Convolutional Networks for Large-Scale Image RecognitionICLR 2015 (oral) http://www.robots.ox.ac.uk/~vgg/research/very_deep/本文针对 AlexNet 的改进主要集中在 网络的深度， depth。通过固定其他网络的结构和参数，来增加网络的深度（通过使用3*3的

ECCV2014本文针对 AlexNet 网络非凡效果，主要分析它为什么好，怎么改进。为此引入了一个 CNN网络的可视化技术，借此技术分析CNN网络中间各层都学习到什么样的特征，并提出怎么改进 AlexNet 网络。1 Introduction 首先分析了一下AlexNet 网络成功的几个因素：i） 大量标定的训练数据，ii）GPU的计算能力使一些大模型具有训练的可行性，iii）更好的模型镇

本文主要是对 CNN网络中的 卷积层中使用 的 linear filter 改进的。很显然 有 线性就有非线性，非线性的表达能力要更加强大。这里使用一个 小网络 MLP（多层感知器）来代替 linear filter。提高系统的非线性表达能力。文献【1】中 CNN模型由 卷积层和池化层交替构成。 卷积层主要做卷积，就是将linear filter 和对应的感知野点乘，然后使用非线性激活函数，这样就

Understanding the Effective Receptive Field in Deep Convolutional Neural Networks NIPS 2016本文主要分析了 CNN 网络中的 Receptive Field，发现实际有效的感受野 和 理论上的感受野 差距比较大，实际有效的感受野是一个高斯分布。We introduce the notion of an eff

S3Pool: Pooling with Stochastic Spatial Sampling CVPR2017 https://github.com/Shuangfei/s3pool本文将常规池化看作两个步骤： 1）以步长为1在特征图上滑动池化窗口，尺寸大小基本保持不变， leaves the spatial resolution intact 2）以一种 uniform 和 deter

Performance Guaranteed Network Acceleration via High-Order Residual Quantization ICCV2017本文是对 XNOR-Networks 的改进，将CNN网络层的输入 进行高精度二值量化，从而实现高精度的二值网络计算，XNOR-Networks 也是对每个CNN网络层的权值和输入进行二值化，这样整个CNN计算都是二值化

Squeeze-and-Excitation Networks https://arxiv.org/abs/1709.01507ILSVRC 2017 image classification winner https://github.com/hujie-frank/SENet本文主要提出了一个新的网络模块 Squeeze-and-Excitation block，作用就是对不同 channe

Attention in Neural Networks and How to Use It http://akosiorek.github.io/ml/2017/10/14/visual-attention.html这篇博文主要介绍神经网络中的注意力机制，代码实现了两个 soft visual attentionWhat is Attention? 首先来看看 注意力机制是什么？ Infor

网络裁剪加速 Learning Efficient Convolutional Networks through Network Slimming ICCV2017 https://github.com/liuzhuang13/slimmingCNN网络通道裁剪加速 Channel Pruning for Accelerating Very Deep Neural Networks ICC

https://github.com/Moodstocks/inception-v3.torch本文是对 GoogleNet 网络模型 Inception 架构的重思考和改进，Inception V3, 其中 Going deeper with convolutions 是 Inception V1, Batch Normalization 是 Inception V2。1 Introduct

CVPR2016 code: https://github.com/KaimingHe/deep-residual-networks针对CNN网络深度问题，本文提出了一个叫深度残差学习网络，可以使得网络的层数达到1000层，不论训练速度还是效果都是很不错。1 Introduction 自从2012年AlexNet提出之后，VGG和GoogleNet相继被提出。从中我们可以网络模型的深度

http://iamaaditya.github.io/2016/03/one-by-one-convolution/http://cs231n.github.io/convolutional-networks/#convert

论文：Gradient-based-learning-applied-to-document-recognition参考：http://blog.csdn.net/strint/article/details/44163869LeNet5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全链接层。是其他深度学习模型的基础， 这里我们对LeNet5进行深入分析，并由此看看 Caf

ImageNet Classification with Deep Convolutional Neural Networkshttp://code.google.com/p/cuda-convnet/AlexNet 在 ILSVRC-2012 一举成名，成为深度学习兴起的标志。后面的 VGG、GoogleNet等均在此基础之上改进的。所以这里来看看这篇文章，后面再深入其 python 代码。2 T

LCDet: Low-Complexity Fully-Convolutional Neural Networks for Object Detection in Embedded System https://arxiv.org/abs/1705.05922本文针对嵌入式设备以 YOLO为基础，提出 LCDet 在 TensorFlow 上实现，采用 8-bit 定点 TF-model 达到实时

Oriented Response Networks CVPR2017 http://yzhou.work/ORN/ Code: https://github.com/ZhouYanzhao/ORN以前的CNN主要通过 pool 来得到小的角度变化不变性，本文设计了一个CNN 可以得到目标的角度信息，也可以做到完全的旋转不变性。 简单的来说，对以前学习到的滤波器 f 旋转 N个角度（例如，每

code : https://github.com/ryankiros/layer-norm本文主要是针对 batch normalization 存在的问题 提出了 Layer Normalization 进行改进的。这里首先来回顾一下 batch normalization ： 对于前馈神经网络第 l 隐层，神经元的输入为 a, 激活函数为 f, 激活函数输出为 h。权值 w 通过 S

Densely Connected Convolutional Networks CVPR2017 best paper Code: https://github.com/liuzhuang13/DenseNet本文受到 ResNet] and Highway Networks 的启发： bypass signal from one layer to the next via identi

https://arxiv.org/abs/1703.06211 Microsoft Research Asia Code coming soon本文可以看做是对 Spatial Transformer Networks 工作的深入，通过 deformable convolution 和 deformable RoI pooling提升当前CNN网络的空间信息建模能力。Spatial Tran

Spatial Transformer Networks 主要对目标在特征空间做不变性归一化 解决 角度、尺度等变形引入的影响 Code: https://github.com/skaae/transformer_network首先我们从图像上有个感性认识，对于一个输入图像，我们首先将目标检测出来，用一个四边形框住，然后将这个四边形里的目标图像进行归一化，最后对归一化的目标分类。原理图如下所

NIPS 2016 http://arxiv.org/abs/1608.04493code: https://github.com/yiwenguo/Dynamic-Network-Surgery本文提出一种动态压缩CNN网络模型算法。针对 LeNet-5 和 AlexNet 可以分别减少 108倍和 17.7倍的参数，而且不损失精度。本文主要参考了文献【9】，文献【9】通过删除一些不重要的参数

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applicationshttps://arxiv.org/abs/1704.04861本文是 Google 针对手机等嵌入式设备提出的一个小网络模型，叫 MobileNets，主要侧重于简单有效。这个 MobileNets 可以干什么了？ 目标检测、细分

Aggregated Residual Transformations for Deep Neural Networks Facebook AI Research 大牛 Ross Girshick Kaiming He 作品官方代码 Torch: https://github.com/facebookresearch/ResNeXtCaffe 代码：https://github.com/te

AlexNet 网络结构：VGG ：conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小如下：卷积神经网络基本计算原理http://m.elecfans.com/article/691826....