《零基础入门深度学习》学习笔记（三）神经网络与反向传播算法-代码详解

上一篇中我们训练了感知器和线性单元，由单独的线性单元按照一定的规则相互连接在一起形成神经网络。从而奇迹般获得强大的学习能力。

本篇还将介绍这种网络的训练算法：反向传播算法。

上一篇中有句重点话：机器学习最重要的是选取特征。神经网络算法的一个优势，就在于它能够自动学习到应该提取什么特征，从而使算法不再那么依赖人类。

本篇原文要点回顾：

• 神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。
• 神经网络其实就是按照一定规则连接起来的多个神经元。
• 多种结构的神经网络：FC全连接网络、CNN、RNN。
• 在FC中同一层的神经元之间没有连接。
• 神经网络就是一个模型，权值就是模型的参数，也就是模型要学习的东西。
• 超参数：连接方式、网络的层数、每层的节点数。
• 反向传播算法：误差项的计算顺序必须是从输出层开始，然后反向依次计算每个隐藏层的误差项，直到与输入层相连的那个隐藏层。反向传播算法其实就是链式求导法则的应用。

代码：running中，需要等待后续更新。

关于设计网络的时候隐藏层节点数的经验公式：